ChatGPT peut maintenant travailler à votre place

Le 19 décembre, c'était le onzième jour d'annonce d'OpenAI, sur les douze prévus. L'entreprise dirigée par Sam Altman a présenté quelques nouveautés pour ChatGPT... qui s'avèrent assez décevantes si vous attendiez GPT-4.5 ou DALL-E 4. Le chatbot peut désormais « contrôler » ce qu'il se passe sur l'écran de votre ordinateur, grâce à l'application dédiée. Pour l'instant, seuls les Mac sont concernés.

ChatGPT veut vous aider avec vos notes et vos codes

La nouvelle fonctionnalité de ChatGPT s'appelle « Work with Apps ». Elle permet de donner à ChatGPT la possibilité de contrôler les applications de son ordinateur.

L'idée principale derrière cette nouveauté est d'éviter d'avoir à copier-coller tout le temps du texte et des fichiers dans le chatbot. Avec « Work with Apps », il n'y a rien à faire, à part poser sa question. Le « contexte » est ajouté automatiquement, puisque ChatGPT voit la fenêtre de l'application. Seules quelques applications sont pour l'instant compatibles, comme Xcode, VS Code ou encore Warp pour la programmation, Notion, Apple Notes et Quip pour les notes.

« Work with Apps » fonctionne avec tous les modèles et fonctionnalités de ChatGPT. Par exemple, on peut demander au chatbot de concevoir un graphique à partir des données d'une application choisie. Il est également possible d'activer SearchGPT pour utiliser ce qu'on trouve sur Internet afin d'alimenter la réponse. On peut tout à fait utiliser le Voice Mode, y compris pour interagir avec un faux père Noël, sans toucher la souris. ChatGPT fera avec l'application ce que vous lui demandez de faire.

Pour fonctionner, « Work with Apps » utilise l'API d'accessibilité de macOS. C'est pourquoi il faut activer les autorisations de ChatGPT dans les paramètres de son Mac pour pouvoir l'utiliser. C'est ce qui permet à l'application d'avoir accès au texte d'autres applications.

Work with Apps peut être activé n'importe quand

Au lieu de tout le temps retourner à ChatGPT pour l'activer, on peut tout à fait rester dans une application. Avec le raccourci Option + Shift + 1 sur Mac, ChatGPT avec Work with Apps apparaît dans une petite fenêtre et on peut lui demander ce qu'on veut. En fonction de ses usages, il est possible de changer de modèle. Par exemple, si on veut analyser un texte, o1 sera meilleur que GPT-4o.

À l'avenir, ChatGPT pourra changer vos notes ou vos programmes tout seul, en fonction des indications que vous lui donnez. Selon OpenAI, il s'agit d'une suggestion fréquente des utilisateurs expérimentés. Pour le moment, Work with Apps est disponible sur l'application Mac uniquement (sur Windows dans un second temps) pour les utilisateurs avec les abonnements Plus, Pro, Team, Enterprise et Edu.

Le dernier rendez-vous d'OpenAI est programmé le 20 décembre à 19 heures (heure française). Les rumeurs s'accordent sur la présentation d'un nouveau modèle expérimental, qui pourrait s'appeler o3.