浏览网页的代理
某些代理通过实际驱动浏览器来工作:加载页面、读取已渲染内容、跟随链接、截屏或生成 PDF。这就是它们处理通过 JavaScript 构建内容的网站的方式。
您将在浏览器代理、浏览器功能或丰富作业的浏览模式中遇到这一点。
它可以访问的内容
Section titled “它可以访问的内容”公共网站,使用 HTTP 和 HTTPS。其他一概不行。
浏览器运行在与任何私有内容没有连接的地方 — 不包括我们的内部服务,也不包括您自己网络上的任何内容。对于私有或保留地址的请求在边界处被拒绝,拒绝是基于实际连接到的地址,而不是早先的检查。一个在检查时解析为公共地址而在使用时解析为私有地址的主机名仍然会被拒绝。
出于两个原因,这一点很重要:
- 内部 URL 将无法工作。 指向您自己内网中的某个内容、私有 IP 或
localhost的浏览代理请求将失败。没有任何设置可以更改这一点。 - 这是一个边界,而不是过滤器。 这并不依赖代理的行为,因此即使提示代理尝试,也仍然无法通过。
当页面被拒绝时
Section titled “当页面被拒绝时”代理会被明确告知,并被要求不要重试:
被浏览器出口边界阻止… 不要重试 - 这是政策,而不是临时故障。
这一措辞是经过深思熟虑的。没有这句话,失败看起来像是超时,而代理会在重试永远不会成功的操作中耗尽它的剩余步骤。拒绝的响应很快 — 大约十分之一秒 — 所以被阻止的目标几乎不会给您带来成本。
在普通 HTTP 上,您可能会看到页面报告返回状态 403。原因相同。
读取其他故障
Section titled “读取其他故障”并不是每个失败都终止运行。当页面出现问题时 — 代理寻找的元素不存在、页面加载缓慢、网站返回错误页面(如“未找到”)或者地址不存在 — 代理会被告知出了什么问题以及接下来尝试什么,并做出调整:它等待更长时间,尝试页面的另一部分,或选择另一个 URL。在几次更改尝试后,它会放弃并在结果中说明。被拒绝的目标或阻止自动浏览器的网站会立即结束运行,因为再次尝试也无法帮助。
| 您看到的内容 | 通常是什么 |
|---|---|
| 被浏览器出口边界阻止 | 目标是私有的、保留的,或不被允许 |
| 在您预期能工作的 URL 上返回状态 403 | 与上面相同,适用于普通 HTTP |
| 导航超时 | 网站确实很慢,或在等待永远不会到达的内容 |
| 空白或部分页面 | 网站未呈现任何有用内容,或需要登录 |
| 代理在多次尝试后停止 | 它有步骤预算;需要多次交互的网站可能会耗尽它 |
浏览器工作是按浏览器秒计量的 — 这是与模型令牌不同的单位,因为页面所花费的时间与模型读取的内容无关。请参阅 计费单位参考。
被拒绝的页面仍然会产生拒绝所需的时间成本,但微不足道。一个挂起到超时的页面则会产生超时的费用。