ローカル抽出
フォローするOctoparseで作ったWebスクレイピングタスクは、ローカルコンピューター(ローカル抽出) またはクラウド (クラウド抽出 )で実行できます。ローカルでタスクを行うと、
|
ヒント！
ローカル抽出は、無料版と有料版両方にも利用できます。無料版の場合、毎回出力データ数が10,000件と並行処理が2件に制限されています。有料版ならその制限はありません。 |
1)ローカル抽出でタスクを実行する
カスタマイズモードで、「実行」をクリックし、「ローカル実行」を選択できます。
次に、タスクの実行プロセスが見られるし、取得したデータもを表示できます。
実行ウインドウズの「ブラウザ」をクリックすると、実際の抽出状況が確認できます。
2)抽出設定
タスク実行前、ローカルタスクの「抽出設定」を変更できます。
ローカル抽出するとき、画像を読み込まないようにします: 画像を読み込まないと、Webページを開く時間が短くなります。
ブラウザを切り替える: ブラウザを切り替えることによって、ブロックされる可能性を低くします。
Cookieをクリア：Cookieをクリアすることによって、ブロックされる可能性を低くします。
|
ヒント！ 1. ローカルタスクはどこで実行されますか？ ローカル抽出でローカルコンピューターでクローリングします。あるWebサイトでは同じIPの訪問時間を制限する場合があります。このような状況下では、制限を超えるなら、ブロックされる可能性があります。 2. ローカル抽出は何に影響されますか？ クローリングはローカルマシン上で実行されているため、ネットワークの速度とハードウェアの性能に影響します。 |
3)デバッグ
4)実行スケジュールを設定する
設定方法
- 1.タスク編集画面で、ローカル抽出の実行スケジュールを設定する
タスクの設定が完了したら、「実行」ボタンをクリックして、ローカル抽出で「実行スケジュール」ボタンをクリックしてください。
- 2.ダッシュボード画面で、ローカル抽出実行スケジュールを設定する
対象タスクを選択し、
をクリックしてから「ローカル抽出」の「スケジュール設定」を選択してください。
- 実行頻度は、 一回/毎週/毎月/一定間隔を選択できます。ご要望に合わせて時間と日付をカスタマイズして、「スケジュール起動」をクリックすると、スケジュール通りにタスクが実行されます。
注意事項
- 1.制限一：同時実行タスク数
同時にローカル抽出のスケジュール設定のタスク数は、ご契約プランによって異なります。
それ以上になると、タスクを定時的に実行できません。
| プラン種類 | 同時に実行できる定時タスク数 |
| スタンダードプラン | 1 |
| プロフェッショナルプラン | 3 |
| エンタープライズプラン | 5 |
なお、スケジュールで実行する時、同時に実行できる定時タスク数の上限が超えた場合は、後から設定したタスクはスキップされます。
例えばスタンダードプランの場合、タスクAは毎日20時、タスクBは毎日22時に定時実行するように設定する、タスクAが22時までに終了しないと、タスクBがスキップされてしまいます。
- 2.制限二：デバイス環境
ローカル抽出は、デバイスのリソース（メモリやCPUなど）を使用しているため、抽出プロセスは、メモリ、電源、ネットワークなどの様々な要因の影響を受ける可能性があります。
もしパソコンがスリープ状態、シャットダウン状態、ネットワークに接続されていないなどの場合は、スケジュール通りに抽出することができません。
したがって、ローカル抽出のスケジュール設定を完了したら、デバイスが正常に
