Agentes que navegan por la web

Algunos agentes funcionan manejando realmente un navegador: cargando una página, leyendo lo que se renderiza, siguiendo enlaces, tomando una captura de pantalla o un PDF. Así es como manejan los sitios que construyen su contenido en JavaScript.

Te encontrarás con esto a través del agente de navegador, la capacidad de navegador o el modo de navegación de un trabajo de enriquecimiento.

Lo que puede alcanzar

Sitios web públicos, a través de HTTP y HTTPS. Nada más.

El navegador se ejecuta en un lugar sin acceso a nada privado — ni nuestros servicios internos, ni nada en tu propia red. Las solicitudes para direcciones privadas o reservadas son rechazadas en el límite, y la negativa se basa en la dirección a la que realmente se está conectado, no en un chequeo anterior. Un nombre de host que se resuelve a una dirección pública cuando se inspecciona y a una privada cuando se utiliza sigue siendo rechazado.

Esto es importante saber por dos razones:

• Las URL internas no funcionarán. Apuntar un agente de navegación a algo en tu propia intranet, una IP privada, o localhost fallará. No hay ninguna configuración para cambiar eso.
• Es un límite, no un filtro. No depende de que el agente se comporte, por lo que un aviso que convenza a un agente a intentar aún no podrá pasar.

Cuando se deniega una página

Al agente se le dice de manera clara, y se le indica que no intente de nuevo:

Bloqueado por el límite de salida del navegador … No intente de nuevo — esta es una política, no un fallo transitorio.

Esa redacción es intencionada. Sin ella, el fallo parece un tiempo de espera, y el agente consume sus pasos restantes intentando algo que nunca tendrá éxito. Una negativa es rápida — alrededor de una décima de segundo — así que un destino bloqueado te cuesta casi nada.

En HTTP simple, puedes ver que la página se informa como devolviendo el estado 403. La misma causa.

Leyendo otros fallos

No todos los fallos terminan la ejecución. Cuando la página es el problema — un elemento que el agente buscaba no está allí, la página se carga lentamente, el sitio responde con una página de error como “no encontrado”, o la dirección no existe — se le muestra al agente lo que salió mal y qué intentar a continuación, y se ajusta: espera más, intenta otra parte de la página o elige otra URL. Se rinde después de un par de intentos cambiados y lo indica en su resultado. Un destino rechazado o un sitio que bloquea navegadores automatizados termina la ejecución de inmediato, porque volver a intentar no puede ayudar.

Lo que ves	Lo que generalmente es
Bloqueado por el límite de salida del navegador	El destino es privado, reservado o no permitido
Estado 403 en una URL que esperabas que funcionara	Lo mismo que arriba, en HTTP simple
Un tiempo de espera de navegación	El sitio es realmente lento, o está esperando algo que nunca llega
Una página vacía o parcial	El sitio no renderizó nada útil, o necesita un inicio de sesión
El agente se detiene después de varios intentos	Tiene un presupuesto de pasos; un sitio que necesita muchas interacciones puede agotarlo

Lo que cuesta

El trabajo del navegador se mide en segundos de navegador — una unidad distinta de los tokens de modelo, porque el tiempo que tarda una página no tiene nada que ver con cuánto leyó el modelo. Consulta la referencia de unidades de facturación.

Una página que se deniega aún cuesta el momento que tomó negarse, que es insignificante. Una página que se cuelga hasta que se agota el tiempo cuesta el tiempo de espera.