待機時間を設定する

理由

Webクローリングでは、プログラムを使用してブラウザをシミュレートし、Webページから情報を収集します。Webページを開くと、すべてのコンテンツが一度に読み込まれるわけではありません。一部のコンテンツはJavaScriptなどのスクリプトで動的に生成される場合があり、または他のサーバーからデータをロードする必要がある場合もあります。したがって、Webページを開くときには、すべてのコンテンツが読み込まれるのを待つ必要があります。

Webページが完全に読み込まれる前に情報を収集し始めると、重要な情報が失われる可能性があります。また、頻繁にサイトにアクセスすることは、サーバーの負荷を高め、サイトの応答速度を遅くする可能性があるため、私たちが望むことではありません。

したがって、すべての情報を正しく収集し、サイトからブロックされないようにするためには、Webページを開いた後に一定時間待つ必要があります。待機時間は、Webページのサイズと読み込み速度に応じて調整することができます。

手順

1.  待機時間を設定する

 ワークフローにあるすべてのステップは、待機時間を設定できます。ステップの設定画面で、実行前の待機設定オプションを簡単に見つかります。

今のところ、待機時間を1～30秒以内に設定できます。

2. 待機要素を設定する

待機時間のほかに、要素のXPathを入力するか、Webページから要素を選択するか、指定要素が表示されるまで待機するのも設定できます。