同時並行でのタスク処理数はいくつになりますか
フォローするローカル並行処理
無料プランはローカル並行処理を2つに制限されていますが、他のプランでは制限なしです。
ただし、ローカルでのスクレイピング速度はローカルネットワークに依存し、同時に開いているタスクが多すぎると大幅に低下することがあります。
クラウド並行処理
Q:クラウドサーバー6台がある場合、クラウドにはいつも6つのタスクが実行されていますか?
A:違います。
6台のサーバーがある場合、理論上は最大6個のタスクが同時に実行できますが、実際にはタスクの構成に依存します。
原因:
クラウドタスクを起動する場合、Octoparseはタスクをさらに小さなサブタスクに分割できるかどうかを確認します。(タスク分割)。同じタスクに使用するサーバーの数が多ければ多いほど、タスクの実行時間が短くなり、対象のWebサイトからブロックされるリスクも低くなります。
状況1
タスクを分割することができず、最初から最後まで1つのクラウドサーバーしか使用できません。
この場合、 (サブ)タスクはすぐに開始されます。
状況2
タスクの分割が可能で、分割数が所有するクラウドサーバーの数以下であること。
この場合、全部のサブタスクはすぐに開始されます。
状況3
タスクの分割が可能で、分割数はクラウドサーバーの保有台数より多い。 (タスクは最大100のサブタスクに分割可能)
この場合、すぐに開始するタスクもあれば、サーバーが空くのを待つ必要があるタスクもあります。
Q:並行処理のタスク数を制限できますか?
A:「クラウドサーバー管理」より、並行処理のタスク数を制限できます。
Q:並行処理のタスクの優先度を設定できますか?
A:はい