Daten Scraping nach dem Anmelden

Friday, June 10, 2022 9:41 AM

Wenn die Zieldaten hinter einer Authentifizierung liegen, ist es trotzdem möglich, mit Octoparse die Daten zu extrahieren. In diesem Tutorial erfahren Sie, wie die Daten-Extraktion nach dem Einloggen zu realisieren ist und wie die Cookies benutzt werden kann.

Überblick:

Schritt 1: Informationen ins Textfeld eingeben

Schritt 2: Verwenden Sie Cookies, um den Ablauf zu optimieren

Schritt 1: Informationen ins Textfeld eingeben

• Klicken Sie auf das Textfeld für die Eingabe des Benutzernamens oder der Email-Adresse auf der Webseite.

• Wählen Sie „Enter text” aus den Aktionstipps.

• Geben Sie den Benutzernamen ins Textfeld ein und klicken Sie auf „Confirm”. Dann wird der eingegebene Benutzname automatisch ins Textfeld der Webseite eingefügt.

• Klicken Sie auf „Continue” und wählen Sie „Click button” in Tipps.

(Richten Sie bei Bedarf eine geeignete AJAX-Wartezeit ein.)

Wiederholen Sie die vorgelegten Schritten, um das Passwort einzugeben.

Klicken Sie „Sign in” auf der Seite auf und wählen Sie „Click button” in Tipps aus.

Octoparse hat sich nun erfolgreich auf der Website angemeldet!

Tipps！

Cookies löschen

Da alle Webseiten handeln die Cookies ganz unterschiedlich, Sie sollen beim jedemaligen Einloggen die gefordeten Informationen eingeben. Dazu sollen Sie

alle Cookies löschen, die vor dem Laden der Webseite gespeichert wurden. Wenn die Webseite Ihre hervor eingegebenen Informationen schon „vergessen” hat, dann können Sie nur die neuen hinzufügen.

• Klicken Sie zuerst auf „Go to Web Page” und dann „Options” .

• Wählen Sie „Clear cache before opening the web page” .

• Klicken Sie auf „Apply” um Ihre Einrichung zu speichern.

Daten Scraping nach dem Anmelden_07

Schritt 2: Verwenden Sie Cookies, um den Arbeitsablauf zu optimieren

Cookies speichern

In den meisten Fällen können Sie den Arbeitsablauf optimieren, indem Sie die Cookies nach der Anmeldung in der Aufgabe speichern. Auf dieser Weise sendet Octoparse die gespeicherten Cookies an die Webseite, auf der Ihre Informationen behaltet werden können. Und es ist nicht brauchened mehr, die Benutzname und Passwort immerwieder einzugeben.

• Schalten Sie zuerst den Browser-Modus

an. Dann können Sie sich genauso anmelden, wie Sie es auf einer normalen Webseite machen.

• Wenn das Einloggen schon fertig gemacht ist, klicken Sie auf „Options” von „Go to web page” und wählen „Use Cookie” und „Use cookie from the current page”.

• Klicken Sie auf „Apply” um Ihre Einrichung zu speichern.

• Damit wird Ihre Anmeldensaktion bei Octoparse behaltet.

Tipps!

1 Ein gespeicherter Cookie hat auch Ablaufszeit.

Jedes Cookie hat eine Laufzeit. Die einen laufen nach einer langen Zeit ab, aber die anderen sind nur wirksam bevor der Browser abgeschaltet wurde. Bei Octoparse ist es der Fall auch nicht zu vermeiden. Deswegen sollen Sie Ihre Einloggensstellung und Cookiesumstand zuerst durchschauen, bevor Sie Ihre Aufgabe laufen lassen.

2 Keine Angst vor Datenleck. Bei Octoparse sind Ihre Informationen gut geschützt.

• Wenn Sie in Octoparse Ihr Passwort eingeben, ist es nur in Ihrem eigenen Konto zugänglich.

• Wenn eine Aufgabe exportiert wird, wird das in der Aufgabe gespeicherte Passwort automatisch entfernt.

• Alle gespeicherten Anmeldeinformationen werden aus Ihrem Konto entfernt, sobald die Aufgabe gelöscht wird.

3 Manuelle Captcha-Eingabe während der lokalen Extraktion.

Wenn ein Captcha angetroffen wird, können Sie das Captcha manuell eingeben, wenn Sie die Aufgabe lokal ausführen. Aber in der Cloud-Extraktion ist die Aufgabe mit Captcha nicht unterstützt.

Autor*in: Das Octoparse Team