無限スクロールを設定したが、新しいコンテンツはループアイテムに追加されていません

スクロールダウン/「もっとみる」ボタンを介してより多くのコンテンツを読み込むWebサイトをスクレイピングする場合、次のような状況が発生する可能性があります。

Octoparseでスクロールダウンを設定しても、新しいコンテンツはループアイテムに追加されていません。

その原因は次のとおりです。

Octoparseは、Webサイトの構造に基づいてループモードを自動的に生成します。 スクロールダウンしてさらにページを読み込んでも、新しいコンテンツを検出できなければ、自動生成されたループモードは固定リストであることです。

このチュートリアルでは、この問題を解決します。例として以下の写真をご覧ください。

現在の「ループモード」が「固定リスト」モードであることに気付くかもしれません。

「固定リスト」は、固定のXPathリストを使用させて、各XPathに対応する要素を見つけて抽出させます。新しいアイテムを自動的に追加することはできず、ボックスに入力したXPathの固定リストに従ってアイテムを追加するだけなのです。

したがって、動的アイテムを処理する場合、またはアイテムの数がページによって異なる場合、特定のXPathに対応するすべてのアイテムを自動的に検出して一致させることができるため、ループモードを「変数リスト」に切り替える必要があります。Octoparseにある5つのループモードをご参照ください。

この問題を解決するには、XPathも変更する必要があります。 XPathの詳細については、このチュートリアルをご覧ください。

XPathについてあまり知らない場合でも、「固定リスト」のXPathの類似性を観察してXPathを生成できます。

以下の図を例にとると、XPathの2番目の「DIV」タグは数字が付いています。それに順番で表示されます。ですから、//DIV[@class='listing-wrap']/DIV/A[1]/DIV[2]　なら、すべてのアイテムを検出できるのですね。

「変数リスト」のテキストボックスに新しいXPath "//DIV[@class='listing-wrap']/DIV/A[1]/DIV[2]"を入力して、実行可能かどうかを確認できます。 下にスクロールして新しいコンテンツを読み込み、ループアイテムに追加された新しいアイテムを見つけると、入力した新しいXPathが実行可能になります。

この方法は、最も単純な場合に適用されます。難しい場合は、XPathの記述方法を学習して問題を解決するか、カスタマーサポートまでお問い合わせてください。