Agents qui naviguent sur le web

Certains agents fonctionnent en contrôlant réellement un navigateur : charger une page, lire ce qui est rendu, suivre des liens, prendre une capture d’écran ou un PDF. C’est ainsi qu’ils gèrent les sites qui construisent leur contenu en JavaScript.

Vous rencontrerez cela à travers l’agent de navigateur, la capacité de navigateur ou le mode de navigation d’un travail d’enrichissement.

Ce qu’il peut atteindre

Sites web publics, sur HTTP et HTTPS. Rien d’autre.

Le navigateur fonctionne quelque part sans accès à quoi que ce soit de privé — ni nos services internes, ni rien sur votre propre réseau. Les demandes pour des adresses privées ou réservées sont refusées à la frontière, et le refus est basé sur l’adresse réellement connectée, et non sur un contrôle antérieur. Un nom d’hôte qui résout vers une adresse publique lorsqu’il est inspecté et vers une adresse privée lorsqu’il est utilisé sera toujours refusé.

Il est important de le savoir pour deux raisons :

• Les URLs internes ne fonctionneront pas. Pointer un agent de navigation vers quelque chose sur votre propre intranet, une IP privée ou localhost échouera. Il n’y a aucun paramètre pour changer cela.
• C’est une frontière, pas un filtre. Cela ne dépend pas du comportement de l’agent, donc un prompt qui persuade un agent d’essayer ne passera toujours pas.

Lorsque la page est refusée

L’agent est informé clairement, et il est conseillé de ne pas réessayer :

Bloqué par la frontière de sortie du navigateur … Ne pas réessayer — c’est la politique, pas un échec temporaire.

Cette formulation est délibérée. Sans elle, l’échec ressemble à un délai d’attente, et l’agent dépense ses étapes restantes à réessayer quelque chose qui ne réussira jamais. Un refus est rapide — environ un dixième de seconde — donc une destination bloquée ne vous coûte presque rien.

Sur HTTP simple, vous pourriez voir la page signalée comme renvoyant le statut 403. Même cause.

Lire d’autres échecs

Ce que vous voyez	Ce que c’est généralement
Bloqué par la frontière de sortie du navigateur	La destination est privée, réservée ou non autorisée
Statut 403 sur une URL que vous vous attendiez à fonctionner	Même que ci-dessus, sur HTTP simple
Un délai d’attente de navigation	Le site est vraiment lent, ou attend quelque chose qui n’arrive jamais
Une page vide ou partielle	Le site n’a rien rendu d’utile, ou nécessite une connexion
L’agent s’arrête après plusieurs tentatives	Il a un budget d’étapes ; un site qui nécessite de nombreuses interactions peut l’épuiser

Ce que cela coûte

Le travail du navigateur est mesuré en secondes de navigateur — une unité distincte des jetons de modèle, car le temps qu’une page prend n’a rien à voir avec la quantité lue par le modèle. Consultez la référence des unités de facturation.

Une page qui est refusée coûte toujours le moment qu’il a fallu pour refuser, ce qui est négligeable. Une page qui reste suspendue jusqu’à ce qu’elle atteigne un délai d’attente coûte le délai d’attente.