2023年 Amazonから製品情報をスクレイピングする

1.対象URLをバーに貼り付け、抽出開始を押します。

ロボットでないことを確認させる画面が現れる可能性があります、ブラウザモードでご完了ください。

何回も要求される場合、設定でブラウザをSafari　15.1にご設定ください

アマゾンの画面が現れたら、詳細設定でCookieを保存しましょう。

このステップにより、ロボット確認画面をスキップことができます。

2.検索バーでキーワードを入れます：

次は検索ボタンをクリックし、操作パネルの「選択したボタンをクリックする」を選択します

現在のワークフローは下記のようになります。

3.ページループを作る：

下までスクロールし、ページボタンを探します。①、②の手順で③ページループを生成します。

これで商品ループの生成が終わりました。

 

5.抽出データを選択する

商品のクリックループを作るが終わった後、詳細ページへ自動的に遷移するはずです。取得データをクリックし、最後「操作ヒント」にあるテキストを抽出するを選択します。

ダブルクリックでフィールド名を編集します。

 

デフォルトで生成されたXpathは全商品をカバーできないため、手動でXpathを修正しましょう。

 

ワークフローの「データを抽出」を選択した状態で、

データプレビューの所でデータの表示方法を縦向きにし、ダブルクリックでXpathを調整します。

正しいXpath

ASIN　//th[text()[contains(., 'ASIN')]]/following-sibling::td
価格　//span[@class='a-price-whole']

 

続けて、画像を抽出するために新しいループを作成する必要があります。ループのアイテムは次の通りです：//div[@id="altImages"]/ul/li[@data-csa-c-action="image-block-alt-image-hover"]//img

 

次に、データを抽出ステップ設定を調整し、新しい「画像URL」フィールドを追加します。

XPathとデータタイプの設定は次のとおりです。

 

ページに再度アクセスすると、画像のアドレスがすでに収集されているのが確認できるはずです。

5.ワークフローの最適化

アマゾン側のスクレイピング防止対策がかからないように、ワークフローを調整します。

最適化方向：各ステップ間の待機時間を増やす

 

6.抽出

保存➡実行、ブラウザと実行ログから現在の実行状況が確認できます。

実際の抽出結果

抽出量が多い場合、自動IPローテーション機能付きのテンプレートをご利用くださいませ（有料）。