Viele Websites verwenden einen Button von „Mehr laden“ oder „Weiter anzeigen“, um Inhalte kontinuierlich zu laden. Diese Technik wird bei den Websites viel verwendet, die für Benutzer/innen eine bessere Erfahrung anbieten möchten.
Im Vergleich zur Paginierung mit einem Button von „Weiter“ fügen Websites mit „Mehr laden“ kontinuierlich mehrere Inhalte auf einer einzelnen Webseite hinzu, was das Web Scraping schwieriger macht. In diesem Artikel zeige ich Ihnen, wie Sie mit dem Button „Mehr laden“ in Octoparse umgehen können.
Vielleicht brauchen Sie diesen Link als Beispiel zu probieren:
Methode 1 Verwendung des Auto-Detect mit Button „Mehr laden“
Schritt 1: Starten Sie den Prozess von Auto-Detect und dann würden Sie die Option „Click on a ‚Load More‘ button“ in der Tipps-Platte.
Schritt 2: Klicken Sie auf „Check“ zu sehen, ob der Button „Mehr laden“ schon richtig lokalisiert wurde. Wenn noch nicht, können Sie auf „Edit“ klicken, um den rechten Button auszuwählen.
Schritt 3: Klicken Sie auf „Edit“, um „Number of clicks“ einzustellen, was bedeutet, wie viele Male Sie auf den Button „Mehr laden“ klicken möchten.
Schritt 4: Klicken Sie auf „Create workflow“, um die Eintsllungen zu generieren.
Der Workflow sollte wie das folgende Bild aussehen:
Mit dem Workflow würde Octoparse auf den Button „Mehr laden“ klicken, während die Daten auch gescrapt werden. Wenn „Number of clicks“ bereits die Nummer 20 eingestellt wurde und es nach Ihrem Klick 20 neue Items geladen sind, würde Octoparse jedes Mal 20 neu geladenen Items mit jedem Klick auf „Mehr laden“.
Methode 2 Erstellung einer Paginierung manuell
Schritt 1: Selektieren Sie den Button „Mehr laden“ auf der Webseite und dann wählen Sie „Loop click single elemet“.
Schritt 2: Stellen Sie einen ordentlichen AJAX-Timeout (Was ist AJAX?).
Tipps!
1. Wenn Sie den Button „Mehr laden“ nur X-mal anklicken wollen, klicken Sie auf das Einstellungssymbol von „Pagination“. Dann kreuzen Sie „Repeats“ an und setzen Sie „Repeats“ auf die Zahl X.
2. Wenn Sie es versuchen, dass die Aufgabe zahlreiche Duplikate während des Scraping erhält, können Sie das Loop Item aus der Paginierung ziehen, sodass Octoparse starten könnte, nach dem Laden alle Items zu scrapen.
