L’IA dans vos autres logiciels : le contrôle de l’écran

Dans Actelyo, l’assistant agit par ses propres actions (créer un dossier, poser une échéance…). Pour ce qui se passe dans un autre logiciel (TextEdit, Word, Outlook, un portail ouvert dans le navigateur), il peut, depuis l’application Actelyo installée sur un Mac, regarder l’écran et cliquer ou écrire à votre place, sous votre contrôle.

Ce qu’il faut pour s’en servir

• Un administrateur l’active dans Réglages › Contrôle de l’IA, carte « Contrôle de l’écran » (désactivé par défaut), et choisit les applications que l’IA peut piloter (par exemple TextEdit et Microsoft Word). Aucune autre ne l’est.
• Le serveur du cabinet a un modèle capable de lire une image (un « modèle de vision », par exemple Qwen3-VL). Les captures vont à ce modèle, dans le cabinet ; un modèle en ligne n’est utilisé que si l’administrateur l’a expressément autorisé.
• Sur votre Mac, macOS demande trois autorisations, une seule fois : Enregistrement de l’écran (voir l’écran), Accessibilité (souris et clavier) et Automatisation › System Events (écrire). La même carte indique ce qui manque et ouvre le bon réglage ; cochez « Actelyo », puis relancez Actelyo.

Comment ça se passe

1. Demandez à l’assistant, par exemple : « Ouvre TextEdit et écris ce courrier : Maître, … ». Vous pouvez aussi utiliser « Confier une tâche à l’écran » dans la même carte des réglages.
2. Une fenêtre « L’IA contrôle l’écran » apparaît en haut à droite, au-dessus de tout. Elle vous montre la demande : cliquez « Commencer » pour laisser faire, « Refuser » sinon.
3. Pour chaque geste qui agit (un clic, un texte, un raccourci), la fenêtre vous demande votre accord : le point visé est entouré en rouge, le texte qui sera écrit est montré en entier. « Refuser » est sélectionné par défaut ; sans réponse au bout de 2 minutes, rien n’est fait. Un refus arrête toute la tâche.
4. À la fin, la fenêtre dit ce qui a été fait, et l’assistant vous répond.

L’administrateur peut laisser l’IA faire les gestes seule (réglage « Seule »), après un avertissement ; les raccourcis qui envoient ou effacent demandent toujours votre accord. Chaque avocat peut être plus strict pour lui-même.

Arrêter à tout moment

Bouton Arrêter de la fenêtre, ou le raccourci ⌘⇧Échap (Commande, Majuscule, Échap). Si vous reprenez la souris pendant que l’IA travaille, elle s’arrête et vous laisse la main.

Ce que l’IA ne fait jamais

• piloter une application qui n’est pas dans la liste du cabinet, ni le Trousseau, un gestionnaire de mots de passe, les Réglages Système ou le Terminal ;
• écrire dans un champ de mot de passe, dans une fenêtre de connexion ou de paiement, ou saisir un numéro de carte bancaire ou un IBAN : c’est à vous de le faire ;
• agir sur un écran verrouillé ;
• suivre une consigne qu’elle lirait à l’écran (dans un courriel, une page web) : elle n’obéit qu’à votre demande.

Ce qui est gardé

Les captures ne sont jamais conservées : elles servent au modèle le temps de la tâche. Le journal de l’IA note chaque geste (proposé, accordé, refusé, fait) et l’application concernée, jamais le texte saisi.

Limites actuelles

Sur Mac seulement (Windows viendra plus tard). Avec un petit modèle local, chaque regard sur l’écran prend de quelques secondes à une minute : la tâche est lente, mais vous voyez où elle en est.