Runway

Description

Runway est une entreprise et une plateforme de création audiovisuelle fondée en 2018 par Cristóbal Valenzuela, Alejandro Matamala et Anastasis Germanidis après leur rencontre à l’Interactive Telecommunications Program de l’université de New York. Son objectif initial était de rendre les modèles d’apprentissage automatique utilisables par des artistes sans infrastructure de recherche. La plateforme a progressivement réuni détourage, suppression d’objets, transformation d’images et surtout génération vidéo, domaine dans lequel le nom Runway est devenu particulièrement visible. La génération vidéo peut partir d’un texte, d’une image fixe ou d’un clip existant. Un modèle prédit une succession d’images qui doit rester cohérente dans le temps : personnages, objets, caméra, lumière et mouvement ne doivent pas changer arbitrairement d’une frame à l’autre. Ce problème est plus complexe que produire une image unique. Les premières générations de Runway privilégiaient la transformation d’une vidéo existante ; Gen-2 popularisa la création à partir de texte ou d’image ; les générations suivantes cherchèrent une meilleure cohérence des personnages, des lieux et des mouvements. L’utilisateur ne se limite pas nécessairement à demander un plan complet. Il peut fournir une image de référence, définir un mouvement, prolonger un clip, changer un décor, retirer un objet ou modifier la lumière. La génération devient ainsi une forme de montage et d’effets visuels. Les résultats restent sujets aux artefacts : géométrie instable, causalité impossible, détails qui disparaissent et raccords incohérents. Un plan séduisant ne possède pas automatiquement la continuité narrative ni la direction d’acteur nécessaires à un film. Runway présente désormais ses recherches sous l’idée de « modèles généraux du monde », censés apprendre des dynamiques visuelles assez riches pour la simulation, les personnages interactifs ou la robotique. Cette ambition dépasse la vidéo créative, mais doit être distinguée des capacités effectivement disponibles. Générer une séquence plausible ne signifie pas comprendre les lois physiques ni disposer d’un simulateur fiable pour une décision scientifique. La provenance des données et les droits des artistes sont des sujets contestés. Runway a été cité dans des procédures alléguant l’usage non autorisé d’œuvres pour l’entraînement de modèles visuels. Une plainte ou une allégation n’est pas une condamnation, et les règles juridiques continuent d’évoluer. Côté utilisateur, il faut posséder les droits sur les images ou vidéos importées, éviter l’usurpation de personnes et vérifier les conditions de diffusion. Le rabbit hole de Runway mène à la diffusion latente, à la cohérence temporelle, aux effets visuels, aux world models, aux datasets vidéo et à l’avenir du cinéma. La carte représente le moment où l’image générée cesse d’être immobile et devient matière de mise en scène.

À savoir

Runway est une plateforme de création audiovisuelle par IA, connue pour ses modèles générant ou transformant des vidéos à partir de texte, d’images et de clips.

Sources

• Runway — présentation de l’entreprise et de sa recherche ↗
• Runway Research — chemin de Gen-1 à Gen-2 ↗
• Runway — fonctionnement de la génération et de l’édition vidéo ↗
• Décision judiciaire — allégations liées à Stable Diffusion et Runway ↗

Pour aller plus loin

• Parcourir les recherches de Runway ↗

  Pour suivre l’évolution des modèles vidéo vers les ambitions de simulation du monde.

• Étudier Gen-4 et la cohérence visuelle ↗

  Pour comprendre pourquoi maintenir personnages et environnements est un problème central.