Benoit Melançon, professeur d’analyse filmique et de prévisualisation à l’École NAD – UQAC
Selon les témoignages de différents professeurs en infographie 3D, l’utilisation de l’intelligence artificielle à l’École NAD se limite essentiellement pour l’instant à la phase de conception des projets étudiants. Cependant, en observant les tendances actuelles dans l’industrie des effets visuels et des jeux vidéo, les professeurs considèrent que la place réservée à l’IA continuera à augmenter, et ce aux dépens de certaines spécialisations techniques. Ils demeurent néanmoins optimistes face au potentiel immense de ces nouveaux outils intelligents, tout en remarquant que ces derniers ne sont pas encore bien adaptés aux infrastructures de production actuelles.
Plan de l’article
Une industrie de l’image en pleine mutation
Concepts et brainstorming
Certaines spécialités à risque?
Nos industries en mutation
L’utilisation de l’intelligence artificielle (IA) dans la création d’imagerie de synthèse est un rêve aussi ancien que l’infographie elle-même. Lors de la fondation de l’École NAD (autrefois Centre NAD) en 1992, ses premiers professeurs imaginaient déjà comment les interfaces du logiciel Softimage laisseraient un jour la place à des manipulations… commandées par la voix! Aujourd’hui, même s’il n’est pas encore possible pour un artiste de converser nonchalamment avec un logiciel comme Autodesk Maya, les possibilités offertes par l’IA aux infographes 3D sont bien réelles.
À l’instar d’autres universités, notre école surveille avec attention comment nos étudiants infographesi utilisent désormais l’IA dans le cadre de leurs études. Également, afin de demeurer au diapason des pratiques industrielles en vogue, nos professeurs demeurent curieux face aux avancées de l’IA dans les entreprises qui emploient nos diplômés. Outre nos chargés de cours travaillant dans les studios de jeux vidéo et d’effets visuels de la région métropolitaine, la majorité des enseignants du NAD conservent des liens étroits avec leur passé professionnel : parmi eux, nous nous sommes entretenu avec Robin Tremblay, spécialiste en photoréalisme et fondateur de notre École, ainsi que François Lord, anciennement à l’emploi des célèbres studios Rodéo. Cette petite enquête « maison » tentera de préciser le rôle actuel de l’IA dans nos activités d’enseignement, et par extension dans l’industrie des effets visuels et de jeux vidéo.
Une industrie de l’image en pleine ébullition
Dès le départ, Robin nous rappelle que ce que nous appelons aujourd’hui « intelligence artificielle » découle d’un modèle relativement ancien basé sur la statistique, et qui n’est pas intelligent au sens où nous l’entendons habituellement. « On le voit quand on utilise l’IA pour élargir l’image d’un panneau où apparaissent des lettres tronquées : l’IA va inventer des mots inexistants, alors qu’un artiste aurait deviné de quels mots il s’agissait réellement ». Ces attentes irréalistes ont d’ailleurs parsemé la longue évolution de l’IA depuis ses balbutiements au milieu du siècle dernier. À ce sujet, Robin rit de bon cœur en se rappelant les prédictions d’interface à contrôle vocal mentionnées plus haut. « Clairement, l’IA était plus complexe à élaborer qu’on ne le pensait! ».
Comme dans d’autres contextes où l’IA semble créer bien des vagues, l’industrie des effets visuels au Québec traverse actuellement une période quelque peu confuse où chacun semble chercher ses repères. « C’est un peu le Far West en ce moment », constate Robin. Pour l’instant, la principale utilisation de l’IA consiste en l’élaboration de concepts visuels en amont de la chaine de production : décors, ambiances, créatures et personnages, composition visuelle… « On parle ici de ce qui était auparavant la tâche des concept artistsii, mais qui maintenant peut être réalisée par le client grâce à l’IA, et ce avant même de rencontrer les infographes responsables de créer les images finales de son film », explique François. Ces concepts n’ont pas à sembler photoréalistes, ni à être en parfaite concordance avec la réalité, ce qui excuse les imperfections caractéristiques des images produites par l’IA telles que des incohérences d’échelle entre certains éléments, ou encore les fameuses mains à six doigts…
Est-ce à dire que ces artistes de concept sont maintenant au chômage? « Non, car ils ne dessinent plus ce genre d’illustrations depuis un certain temps déjà, mais utilisent plutôt l’infographie 3D pour élaborer des volumes de base qu’ils vont ensuite peindre dans Adobe Photoshop », ce qui leur permettra notamment de modifier la perspective et l’éclairage des concepts selon les demandes subséquentes du client : or, ces corrections sont souvent trop menues ou subtiles pour être prises en charge par l’IA. Illustrateur depuis plusieurs décennies, Robin est confronté à ce type de situation dans ses propres créations : « j’ai essayé de refaire certaines de mes propres œuvres au moyen de l’IA sans y parvenir. Le degré de contrôle est moindre que celui d’un artiste familier avec ses outils », constate-t-il. Certains de ses collègues professionnels se limitent à une utilisation ciblée de l’IA, telle que pour générer des éléments isolés qui seront intégrés par la suite à des images créées de manière traditionnelle.
Concepts et brainstorming
À l’instar de plusieurs entreprises en effets visuels, François et Robin ont adopté l’IA dans certains aspects de leurs enseignements, par exemple la phase conceptuelle des projets de leurs étudiants. Cette adoption prend la forme d’une invitation informelle, car les incertitudes demeurent nombreuses quant à l’intégration de ces outils dans la méthodologie de leurs cours respectifs. Pour l’instant, « on se sert essentiellement de l’IA comme le fait l’industrie, c’est-à-dire pour générer des concepts », explique François. « Un outil comme Midjourney permet de générer rapidement une grande variété d’idées pour les cadrages, les environnements, l’éclairage et les ambiances. Lorsqu’un concept s’avère particulièrement prometteur, on demande au logiciel d’en générer différentes versions propices à inspirer les étudiants ». Pourquoi Midjourney plutôt que d’autres outils d’IA? « C’est le meilleur pour ce qui est des styles artistiques, il favorise une émotion et une sensibilité qui avantagent les concepts illustrés ».
Robin indique que le rôle principal de l’IA en phase de conception est avant tout d’accélérer les choses : « en précisant rapidement le concept de base, on peut passer aux étapes subséquentes beaucoup plus rapidement ». Les étudiants travaillant en équipe ne commencent plus à zéro, et peuvent entamer la production des modèles 3D sans passer des heures, voire des jours à élaborer une vision créative commune. Robin n’hésite pas à parler de petite révolution : « L’IA est une innovation aussi importante que la calculatrice : elle permet de gagner en vitesse, surtout pour les phases initiales de brainstorming, mais ne remplace pas l’ensemble du raisonnement ».
Nos étudiants sont-ils naturellement portés à utiliser l’IA? « Cela dépend beaucoup si leurs premières tentatives ont été fructueuses ou non », remarque François, et ce peu importe leurs aptitudes techniques. « Les meilleurs comme les moins talentueux infographes peuvent devenir des fans de l’IA. Par contre, ceux qui dessinent moins bien, ou qui ont peur de la page blanche l’adorent jusqu’à devenir quelque peu accros » envers cet outil pouvant générer des images aussi rapidement que leur viennent des idées… La dynamique du travail en équipe se transforme, notamment parce que chaque infographe a maintenant voix au chapitre, et la qualité du travail semble en bénéficier de manière substantielle.
François a commencé à adapter ses évaluations en classe pour tenir compte de l’IA : « L’étudiant n’est plus évalué dans le détail de ses concepts, mais plutôt comment il supervise l’IA pour arriver à ses fins, c’est-à-dire comment il réussit à bien articuler le problème à résoudre ». Il résume ce nouveau contexte de travail de manière humoristique en proposant que l’étudiant ait maintenant à sa disposition un « assistant idiot », un subalterne mécanique à qui l’on doit tout expliquer en long et en large, mais qui peut se montrer très productif s’il est bien encadré. Pour François, un bel exemple en est l’utilisation de ChatGTP pour la programmation, car bien qu’il soit possible d’utiliser l’IA pour générer du code en différents langages informatiques, « l’étudiant doit néanmoins être en mesure de maitriser le code pour corriger les erreurs de l’IA ». Et pour ce qui est des travaux écrits? « Je n’en demandais pas par le passé, mais je pense qu’il est maintenant trop tard pour le faire », sourit-il.
Certaines spécialités à risque?
N’en déplaise aux prophètes d’une apocalypse annoncée, il semble encore bien trop tôt pour mesurer l’ampleur des bouleversements suscités par l’IA dans les industries audiovisuelle et vidéoludique. Néanmoins, quelques-unes des tâches spécialisées au sein des studios professionnels se révèlent déjà comme aptes à souffrir de l’avènement d’outils dits « intelligents ».
Dans le domaine du matte painting, c’est-à-dire l’extension de décors réels grâce à des éléments visuels synthétiquesiii, les outils relevant de l’IA se démarquent déjà de manière impressionnante. Avec trois décennies d’expérience dans cette discipline, Robin est émerveillé face aux nouveaux gains de productivité ainsi acquis. Même s’il utilise toujours le logiciel Adobe Photoshop, les nouveaux plugiciels relevant de l’IA lui économisent des heures de travail. Pendant notre entrevue, il présente l’exemple typique d’un matte painting moderne où il doit ajouter une rivière à la photographie d’un paysage montagneux. À partir d’une commande textuelle, l’IA propose en quelques secondes un résultat très satisfaisant décliné en différentes variations similaires. Même si plusieurs défauts nécessitent encore des retouches de la part d’un artiste fait de chair et d’os, on peut penser que la discipline du matte painting deviendra rapidement la province presque exclusive de l’IA.
Au-delà des matte paintings, Robin remarque que ses étudiants utilisent l’IA pour générer au besoin la narration en voix-off de certaines de leurs démos, telles que de fausses publicités. « La qualité des voix artificielles est vraiment impressionnante, incluant les accents. Pour les comédiens habitués à ce genre de contrats, c’est certain que je m’inquièterais ». Il mentionne également l’accélération de certaines techniques associées au graphisme, comme les « effets textuels » qui étaient jusqu’ici laborieux à créer manuellement, et qui peuvent maintenant être générés en quelques instants. Pour illustrer son propos, il demande à l’IA de représenter le mot « NAD » formé d’élastiques aux couleurs de l’école : « on sauve littéralement des heures de travail », constate-t-il.
Parce que notre école touche moins au graphisme qu’à l’infographie 3D, pourrait-on utiliser l’IA pour générer nos environnements virtuels sur trois axes, incluant les avatars qui les peuplent? « On est pas encore tout à fait rendu à des outils de niveau production », indique Robin. « Il est beaucoup plus complexe de générer des espaces que de générer des images », même si les tentatives en ce sens sont parfois prometteuses. Robin prend comme exemple le logiciel Leonardo, capable de rapidement ajouter des textures à des personnages virtuels aux géométries complexes. Il mentionne également les expérimentations de type Neural Radiance Field, ou « NeRF », qui consistent à utiliser l’IA pour générer des environnements virtuels photoréalistes à partir de photographies de lieux réels. Pour l’instant, ces nouveaux outils doivent encore faire la preuve de leur fiabilité et de leur flexibilité dans des contextes industriels où les exigences de qualité demeurent élevées.
Nos industries en mutation
Malgré le grand potentiel des outils de création de contenu, on note encore plusieurs obstacles à leur déploiement à grande échelle dans l’industrie des effets visuels ou celle des jeux vidéo. « Le modèle d’affaire des entreprises qui développent ces applications est insoutenable à long terme », constate Robin. Une requête typique pour une image ou pour un texte est actuellement trop énergivore pour se révéler véritablement rentable. De plus, les studios préfèrent traditionnellement posséder un certain degré de contrôle sur les outils qu’ils utilisent : « aussi longtemps que l’IA doit être accédée à distance plutôt qu’au sein même du studio comme pour les autres logiciels, c’est certain que les producteurs vont demeurer frileux ». Certains logiciels offrent des fonctionnalités relatives à l’IA qui peuvent désormais être installées localement, et tirent leur puissance de la carte graphique de l’ordinateur plutôt que de larges « fermes de rendu » situées à distance.
Une autre embûche, la question de la propriété intellectuelle des images créées par l’IA, est particulièrement délicate. Il s’agit ici non seulement de reconnaitre l’auteur des illustrations finales, mais également la paternité des œuvres utilisées en amont dans la « phase d’apprentissage » des différentes applications d’IA : le fait que des outils comme DALL-E, Midjourney, et ChatGTP sont « entrainés » à partir d’éléments récoltés sur l’Internet, sans respect de leur propriété intellectuelle, a déjà fait couler beaucoup d’encre ces derniers mois. Est-ce que le respect des droits d’auteur demeure un vœu pieux? « On commence à voir un certain encadrement à ce sujet », remarque Robin. Il mentionne que les outils d’Adobe sont entrainés sur des banques d’images appartenant à cette entreprise, et ne permettent pas de créer des illustrations impliquant des artistes connus ou des marques déposées. « Ils vont plutôt proposer des objets visuellement similaires, mais non identiques à ceux demandés ».
« On peut penser que la prochaine génération d’applications en IA sera beaucoup plus spécialisée que les outils actuels. Ce seront des logiciels conçus pour s’insérer dans des pipelines industriels très spécifiques », continue-t-il. Ce point de vue est partagé par François, qui constate que les logiciels actuels se limitent essentiellement à générer du contenu, alors que beaucoup d’autres activités industrielles pourraient bénéficier de l’IA. « Les studios auraient beaucoup à gagner en adoptant l’IA pour des tâches d’échantillonnage, de classement, de gestion des modèles virtuels et beaucoup d’autres activités jugées peu créatives. Où sont ces outils? On ne les voit pas vraiment encore ».
Et pour notre école? Peut-on déjà entrevoir certains des changements qui résulteront de l’IA? « C’est certain qu’en ce qui concerne les portfolios présentés lors des demandes d’admission, on devra être plus circonspects », remarque Robin, en ajoutant que « pour l’instant, les images générées par l’IA tendent à partager un certain style visuel qui aide à les identifier comme telles ». Certaines applications comme Microsoft Bing vont également insérer une « signature » dans les métadonnées de l’image, mais le risque de voir des candidats revendiquer la paternité d’œuvres qui ne sont pas les leurs demeure bien réel.
Au-delà de ces dérapages possibles, une réflexion s’amorce quant à la mission même de notre institution : François s’interroge sur « une incompatibilité entre nos activités artistiques d’une part, et la perte de contrôle sur la création des images d’autre part ». Il remarque néanmoins que l’utilisation de l’IA par les étudiants « n’a pas donné lieu jusqu’ici à de grandes surprises », et que l’excellente qualité visuelle des images ainsi produites cache souvent un manque d’originalité artistique.
Surtout, l’IA est encore bien maladroite à s’adapter efficacement au caractère souvent chaotique de la production d’images, en particulier à l’élément le plus chaotique de tous, à savoir… le client! « Tant que nos diplômés vont travailler pour le compte d’un être humain imparfait, indécis et d’humeur volatile, ils ont peu de chance d’être remplacés par l’IA », soutient François, car pour l’instant l’artiste-infographe est capable d’une rigueur qui échappe encore aux outils soi-disant intelligents. Robin renchérit sur ce point, et insiste qu’en infographie « le travail de l’artiste est surtout d’interpréter les demandes des clients », et que les nombreuses itérations souvent très subtiles menant à la création d’images jugées « finales » sont présentement difficiles à réaliser par le biais de l’IA. Il remarque au passage que la récente grève des scénaristes américains portait moins sur une éventuelle domination de l’IA que sur des excès possibles : « les scénaristes n’ont pas eu peur de disparaitre, mais plutôt de passer leur temps à corriger les mauvais scénarios pondus par ChatGPT plutôt que d’écrire leurs propres textes, voire d’utiliser l’IA eux-mêmes ».
En fin de compte, nos professeurs demeurent-ils optimistes face à l’arrivée de l’IA? Robin se considère lui-même « 25% inquiet, et 75% enthousiaste. C’est quand même extraordinaire d’utiliser des outils qu’on ne pensait pas voir de notre vivant ». Il emprunte une formule connue pour l’appliquer à l’IA : « en imagerie numérique, l’intelligence artificielle est une solution à la recherche d’un problème », tout en étant convaincu que l’École NAD a tout avantage à demeurer flexible face aux rapides développements en la matière, et que les artistes qui sauront tirer leur épingle du jeu sont ceux qui sauront utiliser l’IA à son plein potentiel. « C’est coutumier de dire qu’une image vaut mille mots : peut-être qu’il faudra maintenant mille mots pour obtenir la bonne image… ».
Et pour le contrôle vocal? Robin nous répond en riant : « un jour, on finira bien par y arriver! ».
[i] Dans notre texte, le terme « infographe » désigne l’artiste apte à manipuler des logiciels servant à créer de toutes pièces des images (infographie 2D), ou encore des univers virtuels en trois dimensions qui peuvent servir de base à la génération d’images (infographie 3D). C’est l’infographie 3D qui est à la base de la plupart des jeux vidéo actuels, ainsi que des longs métrages d’animation comme ceux de Disney ou de Pixar.
[ii] Le terme anglophone concept artist réfère à l’artiste situé au début d’une chaine de production de film ou de jeu vidéo, et dont la tâche est de proposer différentes options visuelles au réalisateur avant que ne commence la production proprement dite.
[iii] La technique du matte painting renvoie aux débuts du cinéma, alors que des représentations de paysages grandioses peints sur des surfaces vitrées étaient combinées à des avant-plans filmés en studio. Par un phénomène de trompe-l’œil, ces éléments distincts semblaient pour le spectateur appartenir au même espace filmé, éliminant ainsi la nécessité de construire d’immenses décors en milieu réel. Cette pratique a éventuellement été facilitée par l’avènement de logiciels d’infographie 2D comme Adobe Photoshop : il est maintenant coutumier de produire un matte painting à partir de photographies qui seront retouchées.
