URLをバッチで生成する

2022年12月12日 08:20
更新

URLをバッチで生成するとは何ですか？

Octoparse は事前に定義されたパターンに基づいて URL を生成できます。

設置可能タイプ

1. 数字

初期値を入力し、毎回数値を増やすか減らすかを選択し、回数か終了値を入力することができます。

例えば、異なるページのURLを生成する場合、ページ番号のパラメータを1〜100の範囲で設定する必要がある場合があります。初期値を1、毎回＋1、回数を100回と入力します。終了値は自動的に100と記入されます。

2. アルファベット

開始文字と終了文字が入力できます。

3. 日付

4. カスタムリスト

検索キーワードや商品番号のリストなど、独自のリストを入力することができます。

応用場面

もし、urlの番号を変えることで所定のページにアクセスできるのであれば、[クリック-データ抽出-次へ]の処理を[開く-データ抽出]に変更することをお勧めします。後者は、クラウド取得の際に取得速度を大幅に向上させることになります。

ステップ１　パターンの観察

分割可能なURL
https://biz-maps.com/s?category3%5B0%5D=5343&page=1
https://biz-maps.com/s?category3%5B0%5D=5343&page=2
https://biz-maps.com/s?category3%5B0%5D=5343&page=3
-----------------
https://www.wantedly.com/projects?type=mixed&page=1&keywords%5B%5D=%E4%BA%BA%E6%9D%90%E7%B4%B9%E4%BB%8B
https://www.wantedly.com/projects?type=mixed&page=2&keywords%5B%5D=%E4%BA%BA%E6%9D%90%E7%B4%B9%E4%BB%8B
https://www.wantedly.com/projects?type=mixed&page=3&keywords%5B%5D=%E4%BA%BA%E6%9D%90%E7%B4%B9%E4%BB%8B
-----------------
https://www.cosme.net/categories/item/930/product/?page=2
https://www.cosme.net/categories/item/930/product/?page=3
https://www.cosme.net/categories/item/930/product/?page=4

ステップ２　ループの作成

ステップ３　URLをバッチ生成する

分割前と分割後の最大の違いは、ページをめくる操作が必要な1つのタスクが、ページをめくる必要がなく、直接アクセスできる複数のサブタスクになることです。

分割前

分割後