ユーザーエージェント(UserAgent)を変更する
フォローするユーザーエージェント(UA)とは
スクレイピングでは、ユーザーエージェント(以下はUA)を単純に「デバイス+ブラウザ」と考えることができます。 ブラウザやデバイスによってUA値は異なり、ブラウザ、バージョン、使用言語、現在のデバイスなどが含まれます。
UA値は、ページが要求されたときに、ターゲットウェブサイトのサーバーに一緒に送信されます。 そして、サーバーは適切なUAを判断し、情報を返します。
例えば、お客様が携帯電話のブラウザで訪問された場合、サーバーはUA値のデバイス情報に基づいて、携帯電話に適したウェブページのレイアウトを返します。 コンピュータのブラウザで閲覧した場合、サーバーはコンピュータのレイアウトに適したウェブページを返します。
応用場面
1.モバイルレイアウトでWebサイト情報をクロールする必要がある
2.サイトには厳しいクロール対策が施されています。 特定のブラウザのみアクセス可能(通常は旧バージョンのブラウザ)
変更方法
1.プリセットされたUAを使用する
Octoparseはあらかじめ主流のUA値を設定していますので、特別なニーズがない場合、それを選ぶだけでよいでしょう。新しいサイトではsafari 15.1、古いサイトではChrome 78.0 for Linuxの使用を推奨します。
- タスクを開き、実行設定に入ります。
Octoparseは各プラットフォームのモバイルブラウザに対応したUAを用意しています。
また、Googleのロボットを模擬したgoogle botもあります。
- 切り替え後、保存を押して編集画面に戻ると、新しいUA値が対象サイトのサーバーに送信され、ページも自動的に更新されます。
2.カスタムUAを追加する方法
1. UAを取得する
方法1
Chrome(Google)ブラウザを例にとって説明します。アドレスバーに「chrome://version/」と入力すると、以下の情報が表示されます。黄色い枠の[User-Agent]以降の情報をコピーして、オクトパースに貼り付けることができます。

ただし、Firefox(ファイヤーフォックス)やEdge(エッジ)ブラウザなど、「chrome://version/」方式に対応していないブラウザがあります。その場合は、以下の2番目の方法を使用することができ、2番目の方法はChromeブラウザにも適用されます。
方法2
- ウェブサイトを開き、ウェブページを右クリックして「検証」を選択してコンソールにアクセスすることもできます。
-
ウェブページをリロードする
-
ネットワークオプションをクリックすると、以下のインターフェイスが表示されます。
「ネットワーク]タブには、ブラウザから送信されたさまざまな要求が表示されます。
リクエストの一つをクリックし、右の部分をスクロールして、ヘッダーの中のUser-Agentを探します。
ヘッダーとは、メッセージのヘッダーを意味します。この部分にUser-Agentの情報が記載されています。メッセージヘッダの中にUAが含まれていないものがあれば、リクエストを変更して検索を続けます。
-
User-Agentの行からUAをコピーする
2. UAをタスクに適用する
タスクを開き、設定ボタンをクリックして設定ページに入る
-
「実行設定]、「カスタマUser-Agentを追加する」をクリックします。
-
User-Agentに好きな名前を付ける
-
User-Agent値にUAを貼り付け、「追加」をクリックして保存します。
-
内蔵ブラウザボックスから、追加したUAを選択します。
-
「保存」をクリックします。