IPローテーションはどのように機能しますか?
フォローするWebスクレイピングに非常に敏感なWebサイトがあります。また、IPをブロックしてスクレイピング活動を阻止するなど、スクレイピング防止対策を利用しています。対策として、複数のIPを使用しアクセスする方法が挙げられます。
実現方法
1.カスタムプロキシサーバ
カスタムプロキシは現時点でローカル抽出のみに追加できます。プロキシの設定の詳細をご覧ください。
無料のプロキシサーバーまたは有料のプロキシサーバーをお持ちの場合、この機能をご利用ください。
2.Octoparseのクラウドサーバを利用する
Octoparse クラウドサービスは、それぞれ唯一のIPアドレスを持つ何千のクラウドサーバーによってサポートされています。タスクがクラウド抽出の場合、6から20のランダムクラウドサーバーが割り当てられ、タスクを同時に実行します。ターゲットWebサイトで追跡およびブロックされる可能性を最小限に抑えながら、さまざまなIPを転換することでターゲットWebサイトでスクレイピングが実行できます。また、IPプールが常に更新されています。
3.プレミアムプロキシサーバ
抽出データ量が多い場合、またはサイトの規制が強い場合、プレミアムプロキシサーバの利用をお勧めします。