2022年 楽天市場から商品価格をスクレイピングする

以前、Amazon、eBayから商品情報のスクレイピングする方法を紹介しました。今回はOctoparseを使って、日本最大級のインターネットショッピングサイト「楽天市場」から商品価格をスクレイピングしようと思います。

次のURLを例として使います。

https://search.rakuten.co.jp/search/mall/%E6%9C%AC%E5%93%81%E3%81%AF%E3%83%A1%E3%83%BC%E3%82%AB%E3%83%BC%E8%A3%BD%E9%80%A0%E4%B8%AD%E6%AD%A2%E3%81%AE%E3%81%9F%E3%82%81%E3%80%81%E5%9C%A8%E5%BA%AB%E9%99%90%E3%82%8A%E3%81%A7%E8%B2%A9%E5%A3%B2%E7%B5%82%E4%BA%86%E3%81%A8%E3%81%AA%E3%82%8A%E3%81%BE%E3%81%99%E3%80%82/?f=0&s=4&sid=261122https://www.rakuten.co.jp/category/301981/?l-id=top_normal_gmenu_d_watch_002

「Webページを開く」 - 内蔵ブラウザで対象のWebページを開く

•  ①URLバーでURLを入力して②「抽出開始」をクリックします。

ページ遷移のループを作る - 複数のページからデータを取得する

• ③ページの下にある「次のページ」ボタンをクリックし、「操作ヒント」パネルに④「A」タグが確認できたら、「単一リンクをループクリップする」を選びます。

 データを抽出する - 抽出したいデータを選択する

•  ステップ2では、2ページ目に移動しました、2ページのままで大丈夫です。
• ⑥商品名をクリックすると、選んだタイトルを緑色にハイライトされます、ページ内同じフォーマットとなるデータが自動的に識別され、赤色にハイライトされます。
• ⑦一番後ろの要素は必ず「A」タグであることを確認します
• 「操作ヒント」にある⑧「すべて選択」をクリックします

• 次は「各リンクをループクリックする」を押します

• 現在、ワークフローは下記のようになります。詳細設定の「新しいタブで開く」にチェックを入れる必要があります。

• 現在、詳細ページに抽出する必要なデータ（例：タイトル、商品番号、価格）をクリックし、「操作ヒント」の「データを抽出する」を選択すれば、データをフィールドとして抽出できます。

• いらないフィールドを削除して、必要に応じてフィールド名を編集します。

抽出の速度が速すぎると、アクセス拒否やエラーなどが発生しやすくなります。そのため、待機時間を設定する必要があります。（通常は3～5秒ぐらい）

抽出タスクを始める - タスクの実行を行いデータを取得する

右上の「保存」と実行を押してから、抽出が開始します。

この記事は役に立ちましたか？もしご不明な点がございましたら、いつでもお問い合わせください！