2022年 楽天市場から商品価格をスクレイピングする
フォローする以前、Amazon、eBayから商品情報のスクレイピングする方法を紹介しました。今回はOctoparseを使って、日本最大級のインターネットショッピングサイト「楽天市場」から商品価格をスクレイピングしようと思います。
次のURLを例として使います。
https://search.rakuten.co.jp/search/mall/%E6%9C%AC%E5%93%81%E3%81%AF%E3%83%A1%E3%83%BC%E3%82%AB%E3%83%BC%E8%A3%BD%E9%80%A0%E4%B8%AD%E6%AD%A2%E3%81%AE%E3%81%9F%E3%82%81%E3%80%81%E5%9C%A8%E5%BA%AB%E9%99%90%E3%82%8A%E3%81%A7%E8%B2%A9%E5%A3%B2%E7%B5%82%E4%BA%86%E3%81%A8%E3%81%AA%E3%82%8A%E3%81%BE%E3%81%99%E3%80%82/?f=0&s=4&sid=261122https://www.rakuten.co.jp/category/301981/?l-id=top_normal_gmenu_d_watch_002
「Webページを開く」 - 内蔵ブラウザで対象のWebページを開く
- ①URLバーでURLを入力して②「抽出開始」をクリックします。
ページ遷移のループを作る - 複数のページからデータを取得する
- ③ページの下にある「次のページ」ボタンをクリックし、「操作ヒント」パネルに④「A」タグが確認できたら、「単一リンクをループクリップする」を選びます。
データを抽出する - 抽出したいデータを選択する
- ステップ2では、2ページ目に移動しました、2ページのままで大丈夫です。
- ⑥商品名をクリックすると、選んだタイトルを緑色にハイライトされます、ページ内同じフォーマットとなるデータが自動的に識別され、赤色にハイライトされます。
- ⑦一番後ろの要素は必ず「A」タグであることを確認します
- 「操作ヒント」にある⑧「すべて選択」をクリックします
- 次は「各リンクをループクリックする」を押します
- 現在、ワークフローは下記のようになります。詳細設定の「新しいタブで開く」にチェックを入れる必要があります。
-
現在、詳細ページに抽出する必要なデータ(例:タイトル、商品番号、価格)をクリックし、「操作ヒント」の「データを抽出する」を選択すれば、データをフィールドとして抽出できます。
- いらないフィールドを削除して、必要に応じてフィールド名を編集します。
抽出の速度が速すぎると、アクセス拒否やエラーなどが発生しやすくなります。そのため、待機時間を設定する必要があります。(通常は3~5秒ぐらい)


抽出タスクを始める - タスクの実行を行いデータを取得する
右上の「保存」と実行を押してから、抽出が開始します。
この記事は役に立ちましたか?もしご不明な点がございましたら、いつでもお問い合わせください!