Tripadvisorからホテルの情報をスクレイピングする

前回BookingとAirbnbからホテルの情報をスクレイピングする方法をご紹介いたしました。今回のチュートリアルでは、WebスクレイピングツールOctoparseを使って、TripAdvisorからホテルの情報をスクレイピングする方法を説明します。

次のURLを例として使います。

ホテルの詳細ページに入り、ホテルのタイトル、住所、価格、評価を取得しようと思います。

以下はチュートリアルの主な手順です。[タスクファイルをダウンロードする ]

1) 「Webページを開く」 - 対象のWebページを開く

Tripadvisorのクッキー設定のため、Octoparseで条件を設定する必要があります。

今、必要な結果ページになります。

webページを開く

2)「ページネーション」 - 複数のページからデータを取得する

TripAdvisorがAJAXでコンテンツを読み込むから、「ページネーション」アクション用にAJAXを設定する必要があります。

ページ遷移のループを作る

3) 「ループアイテム」 - 詳細ページからデータを取得する

Octoparseは保存されたクッキーをwebサイトに送信し、Tripadvisorがすでにさっきの操作を覚えたから、これらのアクションを削除しても結果ページを直接開くことができます。

これから「ループアイテム」を作ります。

そうすると、ループアイテムが自動作成され、一番目の詳細ページに入ります。

ループアイテム

4) 「データを抽出する」 - 抽出したいデータを選択する

データを抽出する

ヒント！

ホテルの評価をクリックすると、「選択した要素の外部HTMLを抽出する」を選択します。抽出されたデータは、正規表現でさらに処理する必要があります。ステップ5で処理方法をご覧ください。

5) 「データカスタマイズ」 - データを再フォーマットする（オプション）

目標データがWebページに表示可能なテキストとして表示されていない場合は、まずソースコード（HTML）を抽出し、抽出したソースコードを必要な形式に処理する必要があります。

「スターランキング」を選択し、「データフィールドをカスタマイズする」をクリックします。
「抽出データを再フォーマットする」、「ステップを追加する」、「正規表現でマッチする」を順番に選択します。
「RegExツールを試す」を選択します。
「で始める」に「ui_bubble_rating bubble_」を入力、「で終わる」に「"」を入力、「生成する」をクリックしてから「マッチする」をクリックすると、「マッチ結果」フィールドに結果が表示されます。
「適用する」と「OK」をクリックします。

データを再フォーマットする

6) 「抽出開始」 - データ取得のタスクを実行する

ここにサンプルデータがあります。

サンプル出力