eBayから商品価格をスクレイピングする
フォローするeBayやAmazonなどのネットショップから情報をWebスクレイピングするのは非常に重要なデータソースになっており、価格、機能、評価から人気商品を比較できます。
今回では、使いやすいWebスクレイピングツールOctoparse 8.XによるeBayからの商品情報の取得を紹介します。ウェブサイトでのデータマイニングをやすくします。
このチュートリアルで次のURLを例として使います。
https://www.ebay.com/sch/Digital-Cameras-/31388/i.html
この度、eBayから「デジタルカメラ」の商品情報をスクレイピングします。以下はチュートリアルの主な手順です。[タスクファイルをダウンロードする]
1) 「Webページを開く」 - 内蔵ブラウザで対象のWebページを開く
2) ページ遷移のループを作る - 複数のページからデータを取得する
3) 「ループアイテム」を作る - 各ページ上のデータを取得する
5) 抽出タスクを始める - タスクの実行を行いデータを取得する
1) 「Webページを開く」 - 内蔵ブラウザで対象のWebページを開く
- コピーしたURLを入力ボックスに貼り付けて、タスクを作ります。 自由度の高い「カスタイズタスク」は、複雑なウェブサイトを対応できます。
- 「抽出開始」をクリックします。
- 「ワークフロー」をオンにするとタスクの作りはやすくなります。
2) ページ遷移のループを作る - 複数のページからデータを取得する
· ページの下にある「>」ボタンをクリックし、「操作ヒント」パネルから「単一リンクをループクリップする」を選択します。
3) 「ループアイテム」を作る - 各ページ上のデータを取得する
· 2ページ目に移動しましたので、「Webページを開く」をクリックして1ページ目に戻ります。「ページネーション」オプションも左クリックします。
· 一番目のリスト製品のタイトルをクリックすると、Octoparseはページ内の同じフォーマットとなるデータが自動的に識別されます。
· 「操作ヒント」にある「すべて選択」をクリックします。
· 「各要素をループクリックする」をクリックします。
4) データを抽出する - 抽出したいデータを選択する
· 必要なデータをクリックし、「操作ヒント」にある内容に応じて、「選択した要素のテキストを抽出する」を選択します。
· 「データを抽出」をダブルクリックしてファイル名を編集します。
5) 抽出タスクを始める - タスクの実行を行いデータを取得する
· 「保存する」をクリックします。
· 「抽出開始」をクリックします。
この記事は役に立ちましたか?もしご不明な点がございましたら、いつでもお問い合わせください!
From: https://www.octoparse.jp/tutorial/scrape-pricing-from-ebay/