すべてのコレクション
よくある質問
同時並行でのタスク処理数はいくつになりますか
同時並行でのタスク処理数はいくつになりますか
一週間前以上前にアップデートされました

ローカル並行処理

無料プランはローカル並行処理を2つに制限されていますが、他のプランでは制限なしです。

ただし、ローカルでのスクレイピング速度はローカルネットワークに依存し、同時に開いているタスクが多すぎると大幅に低下することがあります。

クラウド並行処理

Q:クラウドサーバー6台がある場合、クラウドにはいつも6つのタスクが実行されていますか?

A:違います。

6台のサーバーがある場合、理論上は最大6個のタスクが同時に実行できますが、実際にはタスクの構成に依存します。

原因:

クラウドタスクを起動する場合、Octoparseはタスクをさらに小さなサブタスクに分割できるかどうかを確認します。(タスク分割)。同じタスクに使用するサーバーの数が多ければ多いほど、タスクの実行時間が短くなり、対象のWebサイトからブロックされるリスクも低くなります。

状況1
タスクを分割することができず、最初から最後まで1つのクラウドサーバーしか使用できません。
この場合、 (サブ)タスクはすぐに開始されます。

mceclip0.png

状況2
タスクの分割が可能で、分割数が所有するクラウドサーバーの数以下であること。
この場合、全部のサブタスクはすぐに開始されます。

mceclip1.png

状況3
タスクの分割が可能で、分割数はクラウドサーバーの保有台数より多い。 (タスクは最大100のサブタスクに分割可能)
この場合、すぐに開始するタスクもあれば、サーバーが空くのを待つ必要があるタスクもあります。

mceclip2.png

Q:並行処理のタスク数を制限できますか?

A:「クラウドサーバー管理」より、並行処理タスク数の上限を制限できます。
仮に3つのタスクの同時実行数(上限)を3に設定し、1つのタスクが分割可能なタスクである場合、そのタスクはすべての空きサーバーを使用しますので、ダッシュボード上で実行中のタスクが1つしか表示されない可能性があります。ただし、3つのタスクがすべて分割不可能なタイプの場合は、設定と同じ結果になり、3つのタスクが同時に実行されます。

Q:並行処理のタスクの優先度を設定できますか?

A:はい

mceclip4.png
こちらの回答で解決しましたか?