どのような場合に追加のプロキシサーバーを使用する必要がありますか?
フォローするOctoparseのサーバに加え、プレミアムプロキシサーバを用意しました(両者の違いについてはこちらの記事をご覧ください)具体的にどのような場合に、追加のプロキシサーバーを使用する必要があるのでしょうか?
Octopasreサーバ | プレミアムプロキシサーバ | |
利用可能バージョン | 7以降 | 8.5.4以降 |
台数 | Standard:6台 | 指定する条件により、無制限に提供することが可能 |
Pro:20台 | ||
ENT:40台以上 | ||
地域 | US、UK、JP、CN、AU、FR、CA、DE | 全世界範囲 |
コスト | サブスクリプション費用内 |
別途課金($3/GB) |
一.制限されたエリアでのみアクセス可能の場合
Octoparseのクラウドサーバは比較的狭い地域に分散しているため、特定の国からしかアクセスできないWebサイトの場合、プロキシサーバを利用する必要があります。
設定手順
- タスクを開いた後、左上の アイコンからタスク設定に入ります
- ブロッキング対策設定で「プロキシサーバの利用」にチェックを入れます
- 「プレミアムプロキシサーバ」を選び、プロキシサーバの所属国/地域を選択します。
- 設定を保存します。
二.短期間に大量のデータを収集する必要があること
2週間で100万件のデータを取り込みたいが、同時に、高いバージョンにアップグレードしたり、クラウドサーバーを買い増したりしたくないという場合、プロキシサーバーは最適な選択肢となります。
プロキシサーバーにアクセスすることで、新しい端末を使ってWebサイトにアクセスすることと同じになります。
コスト削減のため、サイトが本来のクラウドサーバーをブロックしたときだけ利用する条件を設定し、プロキシサーバーに切り替えることも可能です。
設定手順
- 「Webページを開く」もしくは「アイテムをクリック」をクリックし、再試行タブを選びます。
- 実際のエラーメッセージに基づいてリトライ条件を設定します。
- ページが開くのに少し時間がかかるので、ipの切り替え間隔を長くします。
プレミアムプロキシを選んでから設定をします。