無限スクロールでの読み込み

従来のページネーションを使わなくコンテンツをロードするWebサイトがよく見られます。そのようなサイトは二つの状況があります。

 

 ご参考頂けるために、文字の他に、ビデオも作っております。こちらへクリックしてください。

 

1. 延々とスクロールして、コンテンツを継続的にロードする(無限スクロール)

2. 「load more」ボタンをクリックし続け、コンテンツをロードする

 

このチュートリアルではOctoparseでこれらの2つの状況を処理し、すべてのデータを抽出する方法を説明します。

 

 

1. 無限スクロール

 無限スクロールは、JavaScriptまたはAJAXをWebサイトでよく使われる技術です。同一ページ内でスクロールダウンするたびに次々とコンテンツを読むことができ、FacebookのフィードやTwitterのタイムラインなどで採用されています。

 

現在Octoparseのスクロールダウン機能を利用して、ページをスクロールしながらデータを抽出することができます。最後まで待つ必要もなく、ページをスクロールしながら、新たに読み込んだデータを抽出します。データ収集のプロセスがより安定したものになり、抽出する時の柔軟性も向上されました。

 

スクロールするページ、回数、間隔をOctoparseに伝えるだけで、Octoparseは手動スクロールのように行います。

 

1) 自動識別機能を利用する場合

1.1) Octoparseを起動します。スクレイピングしたいWebページのURLを入力します。「抽出開始」 ボタンをクリックして進みます。

1.2) Octoparseでページが読み込みされたら、自動的にページ上の内容を識別します。もし自動識別機能をオフする場合は、右上の操作ヒントパネルで 「Webページを自動識別する」、ページ上の内容を識別します。自動識別とは、自動的にページ上の必要なデータを検出して識別するという役立つ機能です。ポイント&クリックをする必要はなく、Octoparseは自動的に処理します。

1.3) 識別が完了すると、「編集」ボタンをクリックします。

1.4) スクロールタイプ、回数、実行間隔などをご要望に応じて設定することができます。 デフォルトでは、「新しい内容がない場合、スクロールを終了」のチェックが入っています。これは、スクロールダウンをループする時に、Web内容に変化があるかを検知し、無効なループを自動的に終了させます。

1.5) 「ワークフローを生成」をクリックして確認し、タスクを作成します。

1.6) 「実行」をクリックして、抽出結果を確認します。

2)  手動で設定する場合

2. 「load more」ボタンをクリックする

無限スクロール以外、一部のWebページでは、AJAXを介してより多くのコンテンツを継続的にロードするため、「Load More」ボタンをクリックする必要があります。

ページから利用可能なコンテンツをスクレイピングするために、すべての情報が読み込まれるまで「Load more」ボタンを繰り返しクリックするようにOctoparseを設定します。

https://health.usnews.com/best-hospitals/search?health.usnews.comを例として説明します。

3) 操作パネルから「単一要素をループクリップする」を選択します。これはOctoparseにボタンを繰り返しクリックするよう指示します。

• ワークフローから「次のページをクリック」をクリックします。
• 「詳細設定」から「AJAX読み込み」を選択し、タイムアウトを設定します（通常、1秒または2秒）。

5) これからループするリストを作ります(リストからデータを抽出)。

6) 「ローカル抽出」を使ってタスク実行をテストします。Webサイトの構造は異なるので、すべてのステップが正しく実行されているかどうかを確認することが重要です。