Agent navigateur : quand la décision devient périmée
Distinguez observation, décision et action. Un sélecteur à jour ne garantit pas une décision valable : vérifiez identité, données et résultat applicatif.
BotBrowser Team
Vous voulez la documentation structurée pour Déploiement ?
Cet article fait partie de la bibliothèque éditoriale. Pour les étapes de configuration, la référence et les mises à jour continues, passez directement à la section docs.
Un agent d'automatisation du navigateur peut choisir le bon enregistrement dans une capture, puis agir sur un autre quelques instants après. La page continue de changer pendant sa réflexion. BotBrowser fournit une identité configurable par contexte, avec un cycle de configuration documenté ; il ne garantit pas la validité d'une ancienne capture, ne fige pas les données applicatives et n'autorise pas une action ultérieure. Un environnement reproductible et une décision métier encore valable constituent deux exigences distinctes, sans garantie sur la réponse du site destinataire.
La frontière délicate sépare observation et exécution, plutôt que paquet d'agent et exécutable du navigateur. Le guide d'intégration du navigateur sans interface traite du lancement et de la visibilité des outils ; le guide browser-use traite de la configuration de ce framework. Une boucle active exige aussi un contrat temporel : quels faits justifient le choix, quels changements l'invalident et quel résultat établit ce qui s'est réellement produit.
TL;DR
- Une observation décrit une page à un instant donné ; elle ne verrouille pas son état futur.
- Un locator Playwright résout les éléments DOM actuels à chaque action. Il peut éviter un nœud détaché sans préserver l'identité métier d'un choix antérieur.
- Les contrôles d'action établissent des conditions d'interaction, pas le prix, le destinataire, la révision ou l'autorisation actuels.
MutationObserversignale les changements DOM configurés. Le silence d'un observateur limité ne prouve pas que l'application est restée identique.- Avant une opération conséquente, comparez les champs métier qui la justifient. Un rejet atomique d'un changement intermédiaire exige un contrôle de révision côté application.
- Après un envoi incertain, réconciliez le résultat applicatif avant de proposer une nouvelle écriture.
Sommaire
- La boucle comporte trois horloges différentes
- Un locator actuel peut exécuter une décision périmée
- Une interaction possible ne prouve pas la validité métier
- Les mutations observées ont une portée configurée
- Définir le dossier de décision avant l'action
- Revalider sans prétendre verrouiller la page
- Attribuer les résultats et arrêter l'incertitude répétée
- Conclusion pratique
La boucle comporte trois horloges différentes
La boucle observer, décider, agir est souvent dessinée comme un cercle, mais la page n'attend pas sa fermeture. L'observation peut produire une image, un arbre d'accessibilité ou quelques champs DOM. L'agent raisonne ensuite sur cette représentation. L'exécution transmet finalement une commande, résout sa cible et interagit avec la page courante. Entre ces étapes, un minuteur, une réponse réseau, un autre onglet ou un autre utilisateur peut modifier l'application. Les éléments antérieurs ne deviennent pas automatiquement une preuve valable au moment de l'action. Un message est une représentation ; l’analyse de réduction IA sépare livraison de protocole et observation réelle du modèle.
Au moins trois frontières méritent un enregistrement : fin de l'observation, production de la décision et début de l'action. Une séquence illustrative peut les nommer O1, D1 et A1 ; ce sont des repères logiques, pas des durées mesurées. L'écart entre O1 et A1 comprend latence du modèle, files de l'hôte, attente d'approbation, transport des outils et attente du navigateur. Une réponse rapide ne prouve donc pas une exécution sur un état récent. Un délai long ne prouve pas non plus la péremption : tout dépend des changements intervenus.
Cette chronologie distingue deux affirmations facilement confondues. O1 peut décrire correctement la révision v4, tandis que A1 interagit correctement avec v5. Les deux outils peuvent fonctionner exactement comme prévu. L'erreur vient d'une décision qui suppose encore v4. La documentation des locators Playwright explique la résolution d'éléments récents, pas une transaction métier reliant capture et action.
Le résultat de l'agent devrait conserver la frontière d'observation, plutôt que sa seule réponse en prose. L'hôte peut associer un identifiant d'observation et une clé d'enregistrement à l'action proposée. Si un résultat ultérieur renvoie une autre clé ou une valeur décisive différente, il dispose d'une raison concrète de demander un nouveau choix. Garder seulement observedAt est moins solide : le temps écoulé apporte du contexte, sans indiquer quelle hypothèse a changé.
Un locator actuel peut exécuter une décision périmée
Prenons une file de tâches illustrative appartenant à l'opérateur. À O1, la première ligne représente R12 et la deuxième R17. L'agent choisit la deuxième parce que R17 possède le statut requis. Avant l'exécution, un rafraîchissement insère R09 en tête. La deuxième ligne devient R12. Une commande visant le deuxième bouton peut trouver un élément unique, visible et activé, mais agir sur le mauvais enregistrement. Cette transition est construite, et non issue d'une exécution navigateur capturée.
| Frontière | Clés ordonnées | Sens de la deuxième ligne |
|---|---|---|
Observation O1 | R12, R17 | L'enregistrement R17 justifie le choix |
Rafraîchissement avant A1 | R09, R12, R17 | L'enregistrement R12 occupe désormais cette position |
| Nouvelle observation par clé | Rechercher R17 et lire son statut actuel | L'identité tient seulement si la clé désigne encore l'objet prévu |
Playwright avertit explicitement que les choix positionnels first(), last() et nth() peuvent viser un élément imprévu quand la page change. Son guide précise aussi que chaque action résout un élément DOM à jour. Ces propriétés sont compatibles : le framework peut trouver correctement le deuxième bouton courant, alors que « deuxième » n'exprime plus l'intention de l'agent. Une référence récente ne renouvelle pas l'interprétation de la tâche.
Le cas inverse compte également. Un framework peut remplacer un nœud DOM tout en conservant la clé et l'état métier. Traiter chaque remplacement comme un nouvel objet imposerait une planification inutile. Durée de vie du nœud, position dans la liste et identifiant applicatif désignent des identités différentes. L'agent a besoin de celle correspondant à la tâche, par exemple une clé stable et le statut ayant motivé le choix, et non d'une préférence universelle pour une forme de sélecteur.
Un nom accessible peut rester identique alors que son sens change. Deux enregistrements peuvent afficher un bouton Open, ou une opération déjà examinée peut recevoir un montant différent sans nouvelle étiquette. Un locator par rôle et nom décrit mieux la cible, mais il reste nécessaire de délimiter l'enregistrement pour lever l'ambiguïté. Le dossier de décision doit dire pourquoi cet objet a été choisi, pas simplement recopier la chaîne du locator utilisé.
Une interaction possible ne prouve pas la validité métier
Pour locator.click(), Playwright vérifie qu'un élément unique est résolu et respecte les conditions d'interaction documentées. Elles comprennent visibilité, stabilité, réception des événements, activation et, dans la documentation actuelle, absence d'inertie. La référence d'actionability définit la stabilité comme une boîte englobante inchangée pendant au moins deux images d'animation consécutives. Elle ne signifie pas données métier constantes ou révision serveur inchangée.
Cette différence limite des vérifications apparemment fortes. Un bouton peut cesser de bouger pendant que son enregistrement associé change. Il peut recevoir les événements alors que le prix voisin évolue. Un contrôle activé peut envoyer une requête ensuite refusée par l'application. Il n'y a pas contradiction avec l'attente automatique : la couche d'interaction répond à une question plus étroite. Une trace contenant seulement click completed ne dit pas si les conditions de la décision ont survécu.
| Couche de preuve | Vérification concrète | Conclusion établie | Conclusion manquante |
|---|---|---|---|
| Interaction | locator.click() satisfait ses contrôles | L'interaction respectait les conditions de l'API à l'exécution | Les valeurs métier actuelles correspondent-elles encore au choix ? |
| Sens de la page | Clé R17, statut queued, révision v4 actuels | Les champs correspondaient pendant cette lecture | La mutation serveur ultérieure utilisera-t-elle cette révision ? |
| Résultat applicatif | Réponse définie pour R17 | La réponse établit son résultat documenté | Les effets hors de sa portée |
La deuxième ligne ne remplace pas la troisième. Lire une révision puis cliquer laisse un intervalle pendant lequel l'application peut changer. Si l'opération exige « appliquer uniquement si la révision est encore v4 », l'application doit prendre en charge et faire respecter cette condition au moment de modifier les données. Le navigateur ne crée pas une comparaison et mise à jour atomique en interrogeant le DOM plus souvent.
La troisième ligne n'est pas non plus équivalente à un signal visuel. Une notification peut signifier requête envoyée, mise en file ou acceptée pour traitement, selon son texte et son contrat. Assimiler ces trois cas à une opération métier terminée efface une distinction nécessaire à la reprise. Conservez la catégorie réellement renvoyée, sans traduire chaque message vert par finished.
Les mutations observées ont une portée configurée
MutationObserver aide à expliquer pourquoi une observation ancienne ne correspond plus au DOM. Il surveille un nœud, éventuellement son sous-arbre, et les types de mutations configurés. La référence MDN de observe distingue childList, attributes et characterData ; attributeFilter peut restreindre les attributs signalés. Ces réglages constituent un instrument de diagnostic, pas une surveillance universelle de l'application.
Supposons qu'un observateur surveille ajouts et suppressions via childList, sans surveiller les attributs. Une modification limitée à un attribut peut ne produire aucune notification pertinente. Surveiller une petite liste ne couvre ni un panneau de compte séparé ni un autre document. Un état serveur en attente peut aussi être absent du sous-arbre. Le silence signifie qu'aucune notification correspondante n'a été obtenue dans cette couverture, pas qu'aucun changement important n'a eu lieu ailleurs.
La documentation de l'interface MutationObserver distingue les rappels de takeRecords(), qui retire les notifications en attente et les renvoie. Un collecteur qui vide cette file modifie ce qui reste disponible pour le rappel. Les traces doivent conserver le mécanisme ayant consommé les notifications ; deux sorties vides sont ininterprétables sans savoir si un autre consommateur les a déjà retirées.
Le moment de livraison ajoute une frontière. MDN indique que les mutations d'un sous-arbre retiré peuvent encore être signalées jusqu'à la livraison de la notification de retrait ; les changements ultérieurs du sous-arbre détaché ne le sont plus par cette observation initiale. Un enregistrement de retrait ne donne donc pas une couverture permanente du nœud partout où l'application le déplace. La cible surveillée et sa durée de vie doivent accompagner le résumé.
Des enregistrements de mutation bruts peuvent contenir des informations privées. Pour diagnostiquer la péremption, record-key changed, revision changed ou un nombre de changements structurels pertinents peuvent suffire. N'envoyez pas des nœuds de texte complets, valeurs de formulaire ou anciens attributs simplement parce que l'observateur les expose. Précisez couverture et minimisation : recueillir les champs minimaux capables d'invalider la décision, en excluant les autres données de la trace de raisonnement.
Définir le dossier de décision avant l'action
Un dossier de décision relie l'opération proposée aux éléments l'ayant justifiée. Dans la file illustrative, les champs utiles comprennent l'observation O1, la cible logique R17, le statut pertinent queued, la révision v4 si elle existe et la classe d'action. Ces valeurs illustrent un contrat d'hôte ; ce ne sont pas des champs Playwright standard ni une promesse de révisions disponibles partout. Sans clé ou révision exploitable, il faut limiter la portée de ce qui peut être vérifié.
| Champ du dossier | Valeur illustrative | Utilité |
|---|---|---|
| Référence d'observation | O1 | Relie le choix à une représentation précise |
| Contexte et cible | ctx-a, R17 | Évite de réutiliser par erreur des données d'une autre session ou d'un autre objet |
| Champs décisifs | status=queued, revision=v4 | Nomme les hypothèses à revalider |
| Opération proposée | open-details | Distingue lecture et soumission modifiant l'état |
| Catégorie actuelle du résultat | not-started | Sépare proposition et action exécutée |
N'ajoutez pas tous les champs pour donner une impression d'exhaustivité. Si seul le statut motive le choix, un horodatage sans rapport peut provoquer des invalidations inutiles. Si montant et destinataire comptent, la clé seule ne suffit pas. Les champs doivent suivre la raison du choix. Leurs règles de comparaison importent aussi : une présentation peut changer sans nouvelle valeur métier, tandis qu'un nombre arrondi peut masquer une différence importante.
L'appartenance au contexte mérite son propre traitement. La documentation BotBrowser sur l'identité par contexte décrit des identités séparées et un cycle qui scelle leur configuration après le démarrage du premier renderer. Cette frontière aide à associer une identité déclarée au contexte. Elle ne fige ni page, ni identifiants de connexion, ni compte distant, ni données applicatives. L'hôte doit toujours rattacher O1 et R17 au contexte de tâche prévu.
Le dossier doit traverser le transport des outils sans devenir un cours de protocole. La frontière des messages MCP explique pourquoi corrélation des requêtes et propriété de l'état navigateur diffèrent. Dans la boucle, l'identifiant de message sert à associer une réponse, sans remplacer la clé de cible ou prouver son actualité. Conservez ces identifiants séparément au lieu d'en faire une preuve universelle de session.
Revalider sans prétendre verrouiller la page
La revalidation répond à une question précise : les éléments actuels justifient-ils encore l'action proposée ? Pour R17, il peut s'agir de relire clé, statut et révision via l'interface prise en charge avant d'ouvrir les détails. Si le statut change, obtenez une nouvelle observation et réexaminez l'action. Si une ligne sans rapport change, le choix peut rester valable. La règle « tout changement DOM impose un redémarrage » perd cette distinction.
Trois frontières deviennent progressivement plus fortes, sans être interchangeables. Une relecture réduit l'âge des éléments de page. Une opération applicative protégée peut refuser une révision différente si ce contrat est pris en charge. Un résultat confirmé établit l'issue dans son périmètre documenté. Aucune de ces propriétés ne découle automatiquement d'un framework d'agents, d'un locator ou d'un profil BotBrowser.
Évitez une longue suite d'actions non réexaminées fondée sur une seule observation ancienne. Choisir un enregistrement, ouvrir une boîte de dialogue et soumettre un changement franchit plusieurs frontières. Le dialogue peut afficher un nouveau destinataire, un montant actualisé ou une permission supplémentaire. L'action suivante doit utiliser ces nouveaux champs, pas hériter de l'approbation parce que le clic précédent a réussi. Un paramètre conséquent ou une destination modifiée impose une nouvelle décision.
Revalider peut également divulguer des données. Renvoyer une capture complète après chaque petit changement produit des copies répétées d'informations privées sans améliorer la comparaison utile. Une application contrôlée peut retourner un ensemble minimal et typé de champs décisifs si cette interface existe et que son usage est autorisé. Si seule la preuve visuelle est disponible, conservez cette limite et appliquez les règles d'accès et de conservation de l'hôte plutôt que de supposer davantage de contexte toujours préférable.
Attribuer les résultats et arrêter l'incertitude répétée
Les catégories d'échec doivent identifier la première hypothèse non établie. Plusieurs correspondances de locator signalent une cible ambiguë. Des champs actuels divergents signalent une décision périmée. Un délai dépassé peut indiquer une attente échouée, mais après une soumission possible il ne prouve pas l'absence de changement serveur. Un rejet applicatif constitue encore un autre résultat. Tout relancer indistinctement peut répéter une opération conséquente tout en masquant la cause initiale.
Pour le cas illustratif R17, une lecture de détails peut généralement être réexaminée à partir d'une nouvelle observation, dans l'autorisation de la tâche. Une écriture possiblement envoyée appelle une autre reprise : consulter un statut ou un identifiant d'opération pris en charge, ou transmettre l'incertitude au responsable. La présence de R17 dans le DOM ne prouve pas la confirmation d'une mutation antérieure. La preuve nécessaire appartient au contrat applicatif, pas à une consigne plus insistante au modèle.
Limitez la reprise par des transitions utiles plutôt que par le seul nombre d'essais. Si une nouvelle observation ne distingue toujours pas la cible, une action identique n'ajoute rien. Si l'application ne permet pas de réconcilier une écriture possiblement soumise, arrêtez sa répétition automatique. Si autorisation, origine, destinataire ou montant changent, revenez à la frontière de décision correspondante. Ce sont des raisons observables d'arrêter, pas des suppositions sur la confiance de l'agent.
Une trace opérationnelle peut conserver O1, la cible proposée, la revalidation et la catégorie de résultat sans copier le compte. Observation périmée, mauvaise règle de ciblage, conflit applicatif et confirmation incertaine restent alors des diagnostics séparés. La fermeture devient également honnête : fermer un contexte termine une ressource locale, mais n'annule pas une mutation distante et ne prouve pas que le serveur a supprimé les données associées.
Questions fréquentes
Une capture récente rend-elle l'action suivante atomique ?
Non. Elle fournit une preuve visuelle plus récente, mais l'application peut changer après la capture. Si un contrôle atomique de révision est nécessaire, il relève d'une opération applicative prise en charge, pas de l'instant de capture.
L'attente automatique maintient-elle la décision de l'agent à jour ?
Non. Elle attend les conditions d'interaction documentées. Un élément utilisable maintenant peut représenter un enregistrement, un prix ou un statut différent de ceux ayant motivé la décision.
MutationObserver prouve-t-il l'absence de changement pertinent ?
Pas en général. Il signale les mutations DOM correspondantes dans la cible et les options configurées. Il n'observe pas complètement les données distantes, autres documents ou transactions métier.
Une identité isolée empêche-t-elle l'évolution de l'application ?
Non. Identité de contexte et état applicatif ont des cycles différents. La tâche exige toujours une cible actuelle, une autorisation appropriée et un contrôle de résultat défini par l'application.
Sources
- Playwright : actionability et attente automatique
- Playwright : résolution et unicité des locators
- MDN : interface MutationObserver
- MDN : couverture de MutationObserver.observe
- BotBrowser : cycle d'identité par contexte
Conclusion pratique
Reliez chaque décision de l'agent aux observations et champs métier qui la justifient. Résolvez de nouveau l'objet prévu, comparez ce qui peut invalider le choix et séparez interaction réussie et résultat applicatif. Utilisez les contrôles de révision pris en charge lorsqu'un conflit doit être refusé à la confirmation, puis réconciliez toute écriture incertaine avant une nouvelle tentative. Un contexte maîtrisé explicite l'environnement ; il ne rend pas actuelle une décision ancienne.
Cet article fait partie du guide : Déploiement et livraison du navigateur : carte opérationnelle
Articles Connexes
Navigateur headless pour agents IA : lancement et limites des outils
DéploiementAutomatiser le navigateur avec Stagehand
DémarrageConfigurer browser-use avec un navigateur contrôlé
EmpreinteIA de scraping web : ce que le modèle ne voit pas
DéploiementSignaux d'automatisation et cohérence avec Playwright
DéploiementPlaywright MCP : lancer un build Chromium personnalisé
Exécutez la même vérification dans BotBrowser
Chargez un profil, gardez dans le navigateur les signaux que vous venez de lire, puis confirmez le résultat sur votre propre machine avant le déploiement.