Yahoo!ショッピングから商品情報をスクレイピングする

インターネットの発展に伴い、実店舗を持たないeコマースで取引を行う事業者や個人が増えてきています。ですので、Yahoo!ショッピング、eBayやAmazonなどのネットショップから最新の情報を一刻も早くWebスクレイピングできれば、競合監視や価格調査、市場調査など、日々のマーケティング活動で先頭に立ちます。

今回では、使いやすいWebスクレイピングツールOctoparse 7.XによるYahoo!ショッピングから商品情報の取得を紹介します。

このチュートリアルで次のURLを例として使います。

 https://shopping.yahoo.co.jp/search?first=1&tab_ex=commerce&oq=&aq=&mcr=13300574d6e8678914cdfae41e1379d6&ts=1554880946&p=%E3%83%90%E3%83%83%E3%82%B0&pf=&pt=&sc_i=shp_pc_top_searchBox&sretry=0&b=1&page=1

Yahoo!ショッピングから「バッグ」の商品情報をスクレイピングし、このチュートリアルでは次の内容についても説明します。

1.「Webページを開く」 - 内蔵ブラウザで対象のWebページを開く

2. スクロールダウンを使う-リストされたページからさらにデータを取得する

3.「ループアイテム」を作る - 各リストのデータを取得する

4.データを抽出する - 抽出したいデータを選択する

1.「Webページを開く」 - 内蔵ブラウザで対象のWebページを開く

• コピーしたURLを入力ボックスに貼り付けて、タスクを作ります。 自由度の高い「カスタイズタスク」は、複雑なウェブサイトを対応できます。
•  「抽出開始」をクリックします。
• 「ワークフロー」をオンにするとタスクの作りはやすくなります。

2. スクロールダウンを使う - リストされたページからさらにデータを取得する

• 「Webページを開く」の下側に「詳細設定」をクリックします。
• 「ほかのオプション」に「スクロールダウン」を選択します。
• 「スクロール回数」を「一番下までスクロール」にして「保存」ボタンをクリックします。

3. データを抽出する - 抽出したいデータを選択する

• 選択された一番目の商品で必要なテキストデータをクリックし、「操作ヒント」にある「選択した要素のテキストを抽出する」を選択します。

• データプレビューに不要なデータを削除します。
• 必要に応じて、フィールド名を編集します。

4. 抽出タスクを始める - タスクの実行を行いデータを取得する

• 「保存」をクリックします。
• 「実行」をクリックします。

この記事は役に立ちましたか？もしご不明な点がございましたら、いつでもお問い合わせください！