Amazonから商品のレビューをスクレイピングする

このチュートリアルでは、Amazonから商品レビューをスクレイピングする方法を示します。

Amazonの商品情報のスクレイピングについては、以前紹介しましたから、以下の記事をご覧ください。

Amazonから製品情報をスクレイピングする

ASINコードでAmazonの商品情報をスクレイピングする

このチュートリアルで次のURLを使います。

https://www.amazon.co.jp/Nintendo-Switch-%E3%83%8B%E3%83%B3%E3%83%86%E3%83%B3%E3%83%89%E3%83%BC%E3%82%B9%E3%82%A4%E3%83%83%E3%83%81-Joy-%E3%83%90%E3%83%83%E3%83%86%E3%83%AA%E3%83%BC%E6%8C%81%E7%B6%9A%E6%99%82%E9%96%93%E3%81%8C%E9%95%B7%E3%81%8F%E3%81%AA%E3%81%A3%E3%81%9F%E3%83%A2%E3%83%87%E3%83%AB/dp/B07WS7BZYF/ref=sr_1_2?__mk_ja_JP=%E3%82%AB%E3%82%BF%E3%82%AB%E3%83%8A&crid=2LUD41W2K1V49&keywords=%EF%BD%93%EF%BD%97%EF%BD%89%EF%BD%94%EF%BD%83%EF%BD%88&qid=1578033207&sprefix=%EF%BD%93%2Caps%2C355&sr=8-2

今回商品の詳細ページからカスタマーの名前、星評価、レビューのタイトル、時間、レビューの内容などを収集します。

以下はチュートリアルの主な手順です。

• 1) 「Webページを開く」 - 内蔵ブラウザで対象のWebページを開く
• 2）レビューページに移動する
• 3)  ページ遷移のループを作る - 複数のページからデータを取得する
• 4) 「ループアイテム」を作る - 各ページ上のデータを取得する
• 5) データを抽出する - 抽出したいデータを選択する
• 6)  抽出タスクを始める - タスクの実行を行いデータを取得する

 

 

URLを入力して「抽出開始」をクリックし、ページを開きます。

 

ページの下にスクロールし、「日本からのレビューをすべて見る」ボタンをクリックし、「操作ヒント」から「選択したリンクをクリックする」を選択します。

そうすると、レビューページに移動します。

 

ページを下にスクロールし、「次へ」ボタンをクリックし、「操作ヒント」から「単一リンクをループクリックする」を選択します。

 

• 一番目のカスタマーの名前をクリックすると、Octoparseはページ内の同じのを自動的に識別します。
• 「操作ヒント」にある「すべて選択」をクリックします。
• 「各要素のテキストを抽出する」をクリックします。

そうすると、「ループアイテム」が生成されました。

作ったループアイテムを確認したところ、リストには10個ではなく合計36個のアイテムがあることがわかりました。必要ではないデータも含まれたので、XPathの精度が十分でないためです。そのため、「ループアイテム」のXPathを変更する必要があります。正しいXPathは以下のようになります。

//div[@id="cm_cr-review_list"]//div[@data-hook="review"]

　　　　

 

• 必要なデータをクリックし、「操作ヒント」にある「選択した要素のテキストを抽出する」を選択します。
• 必要に応じて、ファイル名を編集します。

 

「保存」と「実行」をクリックし、データを抽出します。以下はデータのサンプルです。