インターネットの発展に伴い、実店舗を持たないeコマースで取引を行う事業者や個人が増えてきています。ですので、Yahoo!ショッピング、eBayやAmazonなどのネットショップから最新の情報を一刻も早くWebスクレイピングできれば、競合監視や価格調査、市場調査など、日々のマーケティング活動で先頭に立ちます。
今回では、使いやすいWebスクレイピングツールOctoparse 7.XによるYahoo!ショッピングから商品情報の取得を紹介します。
このチュートリアルで次のURLを例として使います。
Yahoo!ショッピングから「バッグ」の商品情報をスクレイピングし、
このチュートリアルでは次の内容についても説明します。[タスクファイルをダウンロードする]
1) 「Webページを開く」 - 内蔵ブラウザで対象のWebページを開く
2)スクロールダウンを使う-リストされたページからさらにデータを取得する
3) 「ループアイテム」を作る - 各リストのデータを取得する
4) 抽出タスクを始める - タスクの実行を行いデータを取得する
1) 「Webページを開く」 - 内蔵ブラウザで対象のWebページを開く
- コピーしたURLを入力ボックスに貼り付けて、タスクを作ります。 自由度の高い「カスタイズタスク」は、複雑なウェブサイトを対応できます。
- 「抽出開始」をクリックします。
- 「ワークフロー」をオンにするとタスクの作りはやすくなります。
2) スクロールダウンを使う - リストされたページからさらにデータを取得する
· 「Webページを開く1」をダブルクリックします。
· 「Webページの読み込み後」で「スクロールダウン」を設定します。
· 「スクロール回数」を「一番下までスクロール」にして「保存」ボタンをクリックします。
| ヒント！ · ほとんどのソーシャルメディアのWebサイトでは、スクロールダウンを使って、一画面に収まらない分量のデータなどを見ていくことができます。（無限スクロールを扱う詳細を見る  ）· より多くのデータが必要な場合は、「スクロール回数」の値を高く設定することをお勧めします。 |
3) 「ループアイテム」を作る - 各リストのデータを取得する
- 一番目の商品のタイトルをクリックすると、残りのタイトルが識別されます。
- 「操作ヒント」にある「すべて選択」をクリックして、Octoparseはページ内の同じのデータを自動的に識別します。それから、「各要素のテキストを抽出する」をクリックします。
4) データを抽出する - 抽出したいデータを選択する
- 選択された一番目の商品で必要なテキストデータをクリックし、「操作ヒント」にある「選択した要素のテキストを抽出する」を選択します。
- 「データを抽出」をダブルクリックして不要なデータを削除します。
- 必要に応じて、フィールド名を編集します。
- 不要なデータを削除します。
- 必要に応じて、フィールド名を編集します。
4)抽出タスクを始める - タスクの実行を行いデータを取得する
· 「保存する」をクリックします。
· 「抽出開始」をクリックします。
この記事は役に立ちましたか？もしご不明な点がございましたら、いつでもお問い合わせください！