Daten Scraping mit Web-Scrollen
Monday, June 13, 2022 11:00 AMDiese Funktion ist mit Octoparse 8.5.2 und obere Versionen zur Realisierung stehend!
In meisten Fällen sind die Informationen auf der Webseite nach mehrmaligen Scrollen voll dargestellt.
Wie auf Google Maps:
Und auf TikTok
Deswegen ist es auch der Fall bei der Daten Scraping.
Diese neue Funktion dienst eben für Web-Extratktion mit Scrollen.
In diesem Tutorial erfahren Sie, wie diese Funktion realisiert.
Überblick
Lösung 1: Nehmen Sie die Scrollen-Einstellung von „Go to web page“ oder von „Click Item“ an. ( Zuerst die Daten-Loading mit Scrollen und dann die Daten Scraping)
Schritt 1: Klicken Sie auf „Go to web page” oder „Click Item”.
Schritt 2: Klicken Sie auf „Options” und wählen Sie dann „Scroll down the page after it is loaded”.
Schritt 3: Wählen Sie „Partial” von dem zu scrollenden Feld.
Schritt 4: Geben Sie XPath des zu scrollenden Feld ein.
Lösung 2: Nehmen Sie die Scrollen-Einstellung mit Loop Item an. (Scrollen und Daten Scraping sind gleichzeitig)
Schritt 1: Machen Sie ein Hinzufügen „Loop Item” in den Ablauf.
Schritt 2: Klicken Sie auf „Loop Item” und wählen Sie „Scroll page” von „Loop Mode”.
Schritt 3: Wählen Sie „Partial” von dem zu scrollenden Feld.
Schritt 4: Geben Sie XPath des zu scrollenden Feld ein.
Tipps!
XPath des zu scrollenden Feld:
Es ist eine Angabe des zu scrollenden Feld zu Octoparse. Ohne die Beschrankung von XPath wird es einige Fehler geben.
Erfahren Sie die Hinweise über XPath hier:
Schritt 5: Wählen Sie die Option „scroll for one screen” oder „scroll to the bottom” .
Schritt 6: Stellen Sie die Werte von „scroll times“ und „wait time” ein.
Schritt 7: Klicken Sie auf „Apply”.
Autor*in: Das Octoparse Team
