undefined

Lektion 4: Test-Aufgabe ausführen

Wednesday, May 26, 2021 2:39 PM

 

Ist es nicht aufregend, dass Sie kurz davor sind, Ihre erste Scraping-Aufgabe zu erledigen? Es gibt nur noch eine Sache, die Sie tun sollten (oder besser tun sollten), bevor Sie Ihre Aufgabe ausführen - Testen Sie Ihren Workflow Schritt für Schritt, um sicherzustellen, dass die Scraping-Aufgabe genau so funktionieren wie erwartet. Mit dem Test können Sie überprüfen, ob Sie die Einstellungen Ihrer Aufgabe verändern müssen, um die Daten korrekt zu erhalten.

 

Um den Prozess zu demonstrieren, verwenden wir weiterhin die Testseite als Beispiel: http://test-sites.octoparse.com/?product_cat=e-commerce-category-1).

 

Workflow-Schritte testen

Die Schritte des Workflows sollten immer von oben nach unten gelesen werden, und bei verschachtelten Schritten von innen nach außen.

 

Für unser Beispiel sollten wir also die Schritte in dieser Reihenfolge testen:

 

"Gehen zur Webseite" → Testen, ob die Webseite richtig geladen wird

"Paginieren" → Testen, ob der Button "Nächste Seite" richtig gewählt ist

"Klicken zum Paginieren" → Testen, ob die Webseite richtig paginiert

"Loop Item" → Testen, ob die Liste der Elemente vollständig und korrekt ist

"Daten extrahieren" → Testen, ob die Daten korrekt ausgewählt und extrahiert werden

2.png

Es ist erwähnenswert, dass nicht alle Aufgaben gleich aussehen. Vielleicht haben Sie eine ganz andere Aufgabe zu testen, aber die Methodik ist immer gleich. Fangen wir jetzt an!

 

 

1. Klicken auf "Gehen zur Webseite"

Sobald Sie auf den Button klicken, sollte die Webseite im integrierten Browser geladen werden. Wenn die Webseite gut geladen wird, müssen Sie nicht viel einstellen; es gibt jedoch ein paar Dinge, auf die Sie immer achten sollten.

 

1.1 Die Webseite mit unendlichem Scrollen → Sie sollten "Nach dem Laden der Seite nach unten scrollen" wählen und die entsprechenden Einstellungen vornehmen.

 

 mceclip1.png

 

 

1.2 Wenn die Webseite länger als üblich lädt  → Sie können den Timeout für die Seite erhöhen.

mceclip2.png

 

2. Klicken auf das Kästchen"Paginierung"

 

Um zu sichern, dass die Paginierung funktioniert, müssen wir zwei Sachen überprüfen.

 

• Ob der Button/der Pfeil "Nächste Seite" richtig gewählt wird.

• Ob die Paginierung auf allen Seiten funktioniert, d.h. es muss korrekt paginiert werden von Seite-1 zu Seite-2, Seite-2 zu Seite-3, Seite-3 zu Seite-4, usw.

Nachdem Sie auf das Kästchen "Paginierung" geklickt haben, gehen Sie zu dem markierten Element auf der Webseite und überprüfen Sie, ob das Buttton "Nächste Seite" richtig lokalisiert. Wenn das richtige Buttton "Nächste Seite" nicht gewählt wird, müssen Sie dies eventuell manuell korrigieren, indem Sie den entsprechenden XPath ändern.

 

mceclip3.png

3. Klicken zum Paginieren 

 

Wenn Sie auf "Klicken zum Paginieren" klicken, weisen Sie Octoparse an, auf den im Schritt 2 definierte Button "Nächste Seite" zu klicken. Wenn es richtig funktionieren, sollte es von Seite-1 zu Seite-2 gehen. Wiederholen Sie diesen zweistufigen Prozess (Klicken Sie auf das Kästchen "Paginierung" und dann auf "Klicken zum Paginieren") so oft wie nötig, um sicherzustellen, dass die Paginierung auf allen aufeinanderfolgenden Seiten korrekt funktioniert. Wenn die Webseite auf einer der Seiten nicht richtig paginiert, korrigieren Sie das Element XPath in Schritt 2 und testen Sie es erneut.

Gif5.gif

 

Tipps!

Sehen Sie sich diese Ideen zur Fehlerbehebung bei der Paginierung an:

 

• Umgang mit Paginierung (mit einem "Weiter"-Button)

• Umgang mit Paginierung (ohne "Weiter"-Button)

• Umgang mit Paginierung (Unendliches Scrollen)

• Warum überspringt Octoparse Seiten während des Scrapens?(Version 8)

• Warum scrapt Octoparse immer die letzte Seite und hört nicht auf?

 

 

4. Klicken Sie auf das Kästchen "Loop Item"

 

Das Testen des "Loop Item" ist im Wesentlichen eine Bestätigung, ob alle gewünschten Elemente korrekt ausgewählt wurden.

 

Nach dem Klicken gehen Sie im integrierten Browser auf die Webseite und stellen Sie sicher, dass alle gewünschten Elemente hervorgehoben werden.

loop.gif

 

Oder Sie können auch auf das Listensymbol klicken, um die Liste der Elemente zu laden und zu bestätigen, ob die Liste vollständig ist.

mceclip4.png

 

Tipps!

Wenn Ihre Liste beim Testen nicht vollständig ist, können Sie sich die unten stehenden Ideen zur Fehlerbehebung ansehen:

 

• Loop Item

• Was soll ich tun, wenn Octoparse nicht alle Elemente in der Liste erkennt? (Version 8)

• Verwendung von Loop mit Klicken, Extrahieren und anderen Aktionen (Ver. 8)

 

5. Klicken Sie auf "Daten extrahieren"

Hier ist der letzte Schritt - prüfen Sie, ob die Daten wie gewünscht extrahiert werden.

 

Prüfen Sie nach dem Klicken die Daten im Vorschaubereich und bestätigen Sie, ob dies die benötigten Daten sind.  

mceclip5.png

 

Tipps!

Wenn Sie leere Felder sehen oder falsch platzierte Daten finden, können Sie sich diese Tutorials ansehen:

 

• Warum scrapt Octoparse weniger Daten, obwohl es mehr sein sollten? (Version 8)

• Ein Element über nahegelegenen Text lokalisieren und scrapen

 

 

Führen Sie eine Test-Aufgabe aus

Nachdem Sie jeden Schritt im Aufgaben-Workflow überprüft haben, ist es der perfekte Zeitpunkt, eine Test-Aufgabe auf Ihrem lokalen Gerät auszuführen. Klicken Sie auf "Ausführen" und wählen Sie "Aufgabe auf Ihrem Gerät ausführen".

mceclip6.png

 

Sehen Sie nun zu, wie Ihre Daten extrahiert werden!

1.png

 

Tipps!

 

Schauen Sie sich die FAQs unten an, um herauszufinden, warum Sie nicht die gewünschten Daten erhalten.

 

• Warum bleibt Octoparse stehen und keine Daten werden extrahiert?

• Warum klickt Octoparse nur auf das erste Element in Loop und stoppt dann? (Version 8)

• Octoparse hat es geschafft, Daten von der ersten Seite zu scrapen, aber hört auf, zu den restlichen Seiten zu gehen?

• Warum stoppt Octoparse nach dem Klicken auf "Weiter" an?

• Warum bekomme ich so viele Duplikate? (Version 8)

• Wenn kein Tutorial das Problem löst, können Sie unser Hilfe-Center besuchen oder uns anwenden.

 

Jetzt wissen Sie schon, ob Ihre Aufgabe richtig funktioniert, ist es an der Zeit, wirklich Daten zu bekommen!  >> Lektion 5: Daten erhalten

btnImg
Diese Website verwendet Cookies um Ihnen ein besseres Internet-Erlebnis zu ermöglichen. Lesen Sie wie wir Cookies verwenden und Sie können sie kontrollieren, indem Sie auf Cookie-Einstellungen klicken. Wenn Sie die Website weiter nutzen, akzeptieren Sie unsere Verwendung von Cookies.
Akzeptieren Ablehnen