Microsoft continue la course à l’IA sans rétrograder avec Visual ChatGPT. Visual ChatGPT est un nouveau modèle qui combine ChatGPT et VFM, y compris Transformers, ControlNet et Stable Diffusion. Ça a l’air bien? La technique permet également aux conversations ChatGPT de dépasser les barrières linguistiques. À l’approche de la date de sortie de GPT-4, l’avenir de ChatGPT s’éclaircit de jour en jour.

Même s’il existe de nombreux générateurs d’images d’IA à succès, comme DALL-E 2, Wombo Dream, etc., un outil d’art d’IA fraîchement développé reçoit toujours un accueil chaleureux de la part de la communauté. Visual ChatGPT poursuivra-t-il cette tradition ? Regardons de plus près.

Qu’est-ce que Visual ChatGPT ?

Visual ChatGPT est un nouveau modèle qui combine ChatGPT avec des VFM comme Transformers, ControlNet et Stable Diffusion. Essentiellement, le modèle d’IA agit comme un pont entre les utilisateurs, leur permettant de communiquer via le chat et de générer des visuels.

ChatGPT est actuellement limité à la rédaction d’une description à utiliser avec Stable Diffusion, DALL-E ou Midjourney ; il ne peut pas traiter ou générer des images par lui-même. Pourtant, avec le modèle Visual ChatGPT, le système pourrait générer une image, la modifier, supprimer les éléments indésirables et bien plus encore.

ChatGPT a suscité un intérêt interdisciplinaire pour ses remarquables compétences conversationnelles et ses capacités de raisonnement dans de nombreux secteurs, ce qui en fait un excellent choix pour une interface linguistique.

Sa formation linguistique lui interdit cependant de traiter ou de générer des images à partir de l’environnement visuel. Pendant ce temps, les modèles avec des bases visuelles, tels que Visual Transformers ou Steady Diffusion, démontrent une compréhension visuelle impressionnante et des capacités de production lorsqu’on leur confie des tâches avec des entrées et des sorties fixes à un tour. Un nouveau modèle, comme Visual ChatGPT, peut être créé en combinant ces deux modèles.

Il permet aux utilisateurs de communiquer avec ChatGPT d’une manière qui va au-delà des mots.

Que sont les modèles de fondation visuelle (VFM) ?

L’expression «modèles de base visuels» (VFM) est couramment employée pour caractériser un groupe d’algorithmes fondamentaux utilisés en vision par ordinateur. Ces méthodes sont utilisées pour transférer des compétences standard de vision par ordinateur vers des applications d’IA et peuvent servir de base à des modèles plus complexes.

Fonctionnalités Visual ChatGPT

Les chercheurs de Microsoft ont développé un système appelé Visual ChatGPT qui propose de nombreux modèles visuels de base et des interfaces utilisateur graphiques pour interagir avec ChatGPT.

Qu’est-ce qui va changer avec Visual ChatGPT ? Il sera capable de :

• En plus du texte, Visual ChatGPT peut également générer et recevoir des images.
• Les requêtes visuelles complexes ou les instructions d’édition qui nécessitent la collaboration de différents modèles d’IA sur plusieurs étapes peuvent être traitées par Visual ChatGPT.
• Pour gérer les modèles avec de nombreuses entrées/sorties et ceux qui nécessitent un retour visuel, les chercheurs ont développé une série d’invites qui intègrent les informations du modèle visuel dans ChatGPT.
• Ils ont découvert grâce à des tests que Visual ChatGPT facilite l’étude des capacités visuelles de ChatGPT en utilisant des modèles de base visuels.