瀏覽網絡的代理
有些代理的工作方式是實際上驅動一個瀏覽器:加載頁面、閱讀渲染內容、跟蹤鏈接、拍攝屏幕截圖或生成PDF。這種方式使它們能夠應對那些使用JavaScript構建內容的網站。
您將通過瀏覽器代理、瀏覽器功能或增強作業的瀏覽模式來了解這一點。
它能夠到達的內容
Section titled “它能夠到達的內容”公共網站,通過HTTP和HTTPS。其他的則不能。
瀏覽器運行的地方沒有通往任何私有內容的路徑——無論是我們的內部服務,還是您自己網絡上的任何內容。對於私有或保留地址的請求會在邊界被拒絕,拒絕是基於實際連接的地址,而不是基於先前的檢查。當檢查時解析為公共地址而使用時為私有地址的主機名仍然會被拒絕。
這一點值得了解的原因有兩個:
- 內部URL將無法正常工作。 將瀏覽代理指向您自己內部網絡上的內容、私有IP或
localhost將會失敗。沒有設置可以更改這一點。 - 這是一個邊界,而不是過濾器。 它不依賴於代理的行為,因此即使提示話語使代理嘗試,也仍然無法通過。
當頁面被拒絕時
Section titled “當頁面被拒絕時”代理會被明確告知,並被告知不要重試:
被瀏覽器出口邊界阻止……請不要重試——這是策略,而不是暫時的故障。
這種措辭是故意的。如果沒有這段,故障看起來像是超時,而代理會浪費剩餘的步驟去重試一些永遠無法成功的東西。拒絕速度很快——大約十分之一秒——因此被阻止的目標幾乎不會對您造成任何成本。
在純HTTP中,您可能會看到頁面被報告為返回狀態403,原因相同。
閱讀其他故障
Section titled “閱讀其他故障”並不是每個故障都會結束運行。當頁面有問題時——代理尋找的某個元素不存在、頁面加載緩慢、網站返回錯誤頁面(例如“找不到”),或者地址不存在——代理會被顯示出出現了什麼問題以及下一步應該嘗試什麼,並作出調整:它會等待更長時間、嘗試頁面的另一部分,或選擇另一個URL。經過幾次更改的嘗試後它會放棄,並在結果中說明。拒絕的目的地或阻止自動瀏覽器的網站立即結束運行,因為重試無法有所幫助。
| 您看到的內容 | 通常是什麼 |
|---|---|
| 被瀏覽器出口邊界阻止 | 目的地是私有的、保留的或不允許的 |
| 在您預期能正常工作的URL上看到狀態403 | 與上面相同,通過純HTTP |
| 導航超時 | 網站實際上很慢,或在等待某個永遠不會到達的東西 |
| 空頁面或部分頁面 | 網站未呈現任何有用的內容,或者需要登錄 |
| 代理在幾次嘗試後停止 | 它有步驟預算;需要多次交互的網站可能會消耗完它 |
瀏覽器的工作是以瀏覽器秒計量的——這是一個與模型令牌不同的單位,因為頁面所需的時間與模型讀取的內容量無關。請參見計費單位參考。
被拒絕的頁面仍然會計算拒絕所需的時間,這是微不足道的。一直掛起直到超時的頁面則會計算超時的成本。