Airbnbから部屋の情報をスクレイピングする

1) 「Webページを開く」 - 対象のWebページを開く

• カスタマイズモードの「+ タスク」をクリックし、新規タスクを作ります。
• URLを「Webサイト」ボックスに貼り付け、「URLを保存する」をクリックして移動します。

そうすると、ページが内蔵ブラウザで開られます。

2) 「スクロールダウン」- すべての内容を読み込む 

Airbnb.comのようなサイトでは、ページネーションのボタンがなく、全てのコンテンツを読み込むには、ページを連続して下にスクロールする必要があります。

• 「スクロールダウン」で「読み込み完了後、スクロールダウンを設定する」にチェックを入れます。
• スクロールの「回数」と「間隔」を設定します。
• 「スクロール方法」で「ページの最後までスクロール」を選択します。

3)「ループアイテム」 - 一覧ページからデータを取得する

• 一番目のホテル名をクリックすると、Octoparseは同じページに残るホテル名を自動的に識別します。
• 「各要素をループクリックする」を選択します。

そうすると、一番目のホテルの詳細ページに入ります。

4)「データを抽出する」 - 抽出したいデータを選択する

• 必要なデータをクリックします。「操作ヒント」から「選択した要素のテキストを抽出する」を選択します。

• 必要に応じて、フィールド名を編集します。

5) 「XPathを変更する」 - データの精度を向上させる

「ループクリック」をチェックすると、Octoparseは「固定リスト」のループモードを生成します。「固定リスト」は、一定量の要素を扱うために使用されます。ただし、Airbnb.com上のコンテンツの数は固定ではなく、スクロールダウンすると増加するのです。全ての内容を取得できるようにするには、ループモードを「変数リスト」に変更し、適切なXPathを入力する必要があります。

• 「ループアイテム」ボックスを選択します。
• 「変数リスト」を選択し、次のXPath式をを入力します。

//div[@class="_fhph4u"]/div//div[@class="_v72lrv"]//a

• 「OK」をクリックして保存します。

6)「データカスタマイズ」 - データを再フォーマットする 

目標データがWebページにテキストとして表示されていない場合は、まずソースコード（HTML）を抽出し、再フォーマットする必要があります。

• 「Rating」を選択し、「データフィールドをカスタマイズする」をクリックします。
• 「抽出データを再フォーマットする」、「ステップを追加する」、「正規表現でマッチする」を順番に選択します。
• 「RegExツールを試す」を選択します。
• 「で始める」ボックスをチェックし、「Rated」と入力します。
• 「で終わる」ボックスをチェックし、「out」と入力します。
• 「生成する」と「マッチする」をクリックします。
• 「適用する」をクリックし、「OK」をクリックします。
• 「OK」をクリックして保存します。

7)「抽出開始」 - データ取得のタスクを実行する

• 左上の「保存する」、をクリックします。「抽出開始」をクリックします。
• 「ローカル抽出」または「クラウド抽出」（有料版のみ）を選択します。

ここにサンプルデータがあります。「Rating」に空白のフィールドがいくつか表示されます。これは、一部の詳細ページにホテルの評価がないためです。