DALL-E

Description

DALL·E est le nom donné par OpenAI à une famille de modèles capables de fabriquer des images à partir de descriptions en langage naturel. Le mot-valise associe Salvador Dalí et WALL‑E, le robot de Pixar : il résume l’idée d’un système mêlant imagination visuelle et compréhension de consignes. Le premier DALL·E, présenté en janvier 2021, adaptait l’approche autorégressive de GPT à des séquences représentant ensemble texte et image. Ses exemples — fauteuils en forme d’avocat, objets hybridés, scènes improbables — montrèrent qu’un modèle pouvait recombiner des concepts au-delà d’une simple recherche d’images. DALL·E 2, annoncé en avril 2022, changea d’échelle et de méthode. Il associait une représentation texte-image issue de CLIP à un modèle de diffusion qui part d’un bruit aléatoire et le transforme progressivement. Il produisait des images plus réalistes, permettait de créer des variations et introduisait l’« outpainting », c’est-à-dire l’extension d’une œuvre au-delà de ses bords. Cette génération popularisa aussi les débats sur les biais, les faux visuels, la représentation des personnes et le statut juridique des images synthétiques. DALL·E 3, lancé en 2023, attaqua un défaut précis des générateurs : leur tendance à ignorer des éléments du prompt. OpenAI entraîna un système de légendage capable de produire des descriptions détaillées pour les images d’entraînement, puis utilisa ces légendes afin d’améliorer l’adhérence aux instructions. Son intégration à ChatGPT transforma le workflow : l’utilisateur exprime une intention, ChatGPT développe ou reformule le prompt, DALL·E génère l’image, puis la conversation sert à demander des corrections. Il faut donc distinguer l’interface conversationnelle, le modèle de langage qui prépare la consigne et le modèle d’image qui rend les pixels. Les garde-fous ont évolué avec les versions. OpenAI documente des filtres concernant la violence, la sexualité, les personnalités publiques et certaines demandes d’imitation d’artistes vivants. L’entreprise a aussi proposé aux créateurs une procédure d’exclusion de leurs images pour de futurs entraînements. Ces mesures réduisent certains risques sans régler le débat de fond : les datasets détaillés ne sont pas entièrement publics, les notions de style et de copie diffèrent juridiquement, et une image plausible peut rester fausse ou trompeuse. Depuis mars 2025, la génération d’images native de GPT‑4o est devenue le générateur par défaut de ChatGPT. OpenAI la décrit comme une approche distincte et plus capable que DALL·E 3, notamment pour le texte dans l’image, les transformations et le maintien du contexte. DALL·E 3 demeure disponible comme modèle de génération précédente et via un GPT dédié. La carte représente donc une lignée fondatrice plutôt qu’un produit immobile. Son rabbit hole mène aux transformers autorégressifs, à CLIP, à la diffusion, au recaptioning, à la provenance des datasets, aux filtres et au passage du prompt isolé à la création visuelle par dialogue.

À savoir

DALL·E est la famille historique de modèles texte-image d’OpenAI, passée d’une démonstration de génération visuelle en 2021 à un outil conversationnel intégré à ChatGPT.

Sources

• OpenAI — présentation du premier DALL·E ↗
• OpenAI — DALL·E 3 dans ChatGPT et mesures de sécurité ↗
• Article de recherche — Improving Image Generation with Better Captions ↗
• OpenAI — génération d’images native de GPT‑4o ↗

Pour aller plus loin

• Lire le rapport technique de DALL·E 3 ↗

  Pour comprendre pourquoi de meilleures légendes d’entraînement améliorent le respect du prompt.

• Comparer avec la génération native de GPT‑4o ↗

  Pour suivre le remplacement progressif de la famille DALL·E dans ChatGPT et ses nouveaux risques.