今回はOctoparseを使って、日本最大級の転職求人サイト「リクナビNEXT」から求人情報をスクレイピングしようと思います。「リクナビNEXT」はベテラン経験者から若手未経験者まで、550万人以上の転職希望者が利用している、実績ある転職サイトです。この例を通じて、仕事を探している方にお役に立てれば何よりです。
このチュートリアルで次のURLを例として使います。
https://next.rikunabi.com/lst/?leadtc=top_jbmodal_submit&__m=1
（ご注意：「リクナビNEXT」サイトで予め職種と勤務地を選択しても、その特定のURLを新しいページで開くなら、絞る条件が無効にあります。ですから、職種と勤務地を入力する必要があります。この度入力する方法を割愛します。入力する方法をご覧ください。
以下はチュートリアルの主な手順です。
- 1) 「Webページを開く」 - 内蔵ブラウザで対象のWebページを開く
- 2) ページ遷移のループを作る - 複数のページからデータを取得する
- 3)「ループアイテム」を作る - 一覧ページからデータを取得する
- 4) 抽出タスクを始める - タスクの実行を行いデータを取得する
1) 「Webページを開く」 - 内蔵ブラウザで対象のWebページを開く
URLを入力して「抽出開始」をクリックし、ページを開きます。
2) ページ遷移のループを作る - 複数のページからデータを取得する
ページ読み込み後、ページ送りボタン「> 」ボタンをクリックします。「操作ヒント」にある「単一リンクをクリックする」を選択します。
そうすると、「ページネーション」が生成され、2番目のページに入っています。
3)「ループアイテム」を作る - 一覧ページからデータを取得する
- 該当ページの一番目の求人情報を選択します。セクション全体が強調表示されるまで、「操作ヒント」にある拡大ボタン
をクリックしてください。 - 二番目の検索結果も同じように操作し、残りの部分は識別されます。
- 「すべてのサブ要素を選択する」をクリックし、「データを抽出する」を選択すると、データが抽出されます。
- 必要に応じて、不要なデータフィールドを削除するとか、フィールド名を変更するとかします。
4) 抽出タスクを始める - タスクの実行を行いデータを取得する
「保存」と「実行」をクリックし、データを抽出します。以下はデータのサンプルです。
