インターネットの発展に伴い、実店舗を持たないeコマースで取引を行う事業者や個人が増えてきています。ですので、Yahoo!ショッピング、eBayやAmazonなどのネットショップから最新の情報を一刻も早くWebスクレイピングできれば、競合監視や価格調査、市場調査など、日々のマーケティング活動で先頭に立ちます。
今回では、使いやすいWebスクレイピングツールOctoparseでYahoo!ショッピングから商品情報を取得する方法を紹介します。
このチュートリアルで次のURLを例として使います。
今回は、Yahoo!ショッピングから「カメラ」の商品情報をスクレイピングします。
主な手順は右側のメニューに表示されています。こちらからサンプルタスクをダウンロードできます。
1.「Webページを開く」 - 内蔵ブラウザで対象のWebページを開く
コピーしたURLを入力ボックスに貼り付けて、「スタート」をクリックします。
2. スクロールダウンを使う - リストされたページからさらにデータを取得する
「Webページを開く」の下側に「詳細設定」をクリックします。
「ほかのオプション」の「スクロールダウン」を選択します。
「タイプ」を「一番下までスクロール」にして「保存」ボタンをクリックします。
ヒント!
ほとんどのソーシャルメディアのWebサイトでは、スクロールダウンを使って、データを一画面に収まらないことが多いです。(無限スクロールを扱う詳細を見る)
より多くのデータが必要な場合は、「スクロール回数」を増やすことをお勧めします。
3. データを抽出 - 抽出したいデータを選択する
必要なデータを選択し「類似要素をすべて選択」をクリックします。「テキスト」を選択します。
必要に応じて、フィールド名を編集します。
4. データ抽出を開始 - タスクの実行を行いデータを取得する
「保存」をクリックし、「実行」をクリックします。
以下はサンプルの出力データです。
この記事は役に立ちましたか?もしご不明な点がございましたら、いつでもお問い合わせください!