Apple dévoile un outil éditant les images selon ce que demande l’utilisateur
Apple a présenté un nouvel outil s’appuyant sur les grands modèles de langage et qui permet d'éditer et de modifier des images via des invites textuelles.
Lors de l'International Conference on Learning Representations, Apple a présenté un nouveau logiciel d'IA permettant d'éditer et de retoucher des images. L’outil baptisé «MLLM-Guided-Image Editing» (MGIE) et développé en collaboration avec l'Université de Santa Barbara, pourrait couper, modifier, tourner et ajouter des modifications à une image à la manière de Photoshop en réponse à des instructions textuelles correspondantes, selon le site Golem.
Selon les chercheurs de l'université de Santa Barbara, le système fonctionne grâce à l'intégration de grands modèles linguistiques multimodaux. MGIE exploite ces modèles pour interpréter le texte saisi par l’utilisateur et imaginer à quoi doit ressembler l'image traitée, explique le site The Verge. Ainsi, lorsqu’un utilisateur demande «Rends le ciel plus bleu», MGIE en déduit une instruction précise telle que «Augmenter la saturation de la région du ciel de 20%».
Selon la publication des chercheurs, MGIE aurait démontré sa capacité à gérer une grande variété de scénarios d'édition, des ajustements simples comme le recadrage et la rotation jusqu'aux manipulations complexes d'objets. L'assistant IA peut aussi bien traiter l'image entière que des régions, des objets ou des attributs spécifiques.
