Jetzt haben Sie Ihre erste Scraping-Aufgabe erstellt und bereits gewusst, wie Sie die Aufgabe ausführen können, um die benötigten Daten zu erhalten. In diesem Artikel werden wir erklären, wie Sie Ihre täglichen Scraping-Routinen mithilfe von Aufgabenplanung, automatischem Datenexport und API effektiver und effizienter gestalten können.
Methode 1 Aufgabenplanung
Wenn Sie planen, Daten regelmäßig zu extrahieren, ist die Aufgabenplanung genau für Sie geeignet und kann Ihnen eine Menge Zeit sparen. Sie können Ihre Aufgabe so planen, dass sie einmal oder sogar wiederholt in regelmäßigen Abständen ausgeführt wird, z.B. alle 1 Minute, 5 Minuten, 10 Minuten oder 30 Minuten.
Schritt 1 Finden Sie Ihre Aufgabe auf dem Dashboard, klicken Sie auf das unter der Spalte „Next Page“ stehende Symbol „Not Set“. Das erste ist für die lokalisierte Planung.
Schritt 2 Wählen Sie, wie oft Sie die Aufgabe ausführen möchten.
Schritt 3 Für wiederkehrende Aufgabe wählen Sie eine Frequenz, z.B. wöchentlich oder monatlich, und die Dauer der Tagen, dann führen Sie Ihre Aufgabe aus.
Wählen Sie für wiederholte Aufgabe das gewünschte Zeitintervall aus.
Schritt 4 Sie können die Einstellungen auch für eine zukünftige Verwendung speichern. Nennen Sie den Einstellungen einen Namen und klicken Sie auf „Save“. Auf diese Weise können Sie die gespeicherte Zeitplaneinstellung immer auswählen und direkt auf andere Aufgaben anwenden.
Schritt 5 Wenn alles in Ordnung ist, klicken Sie auf „Schedule ON“, um die Aufgabe im Zeitplan sofort auszuführen.
Schritt 6 Wenn eine Aufgabe geplant ist, können Sie auf dem Dashboard die nächste Ausführungszeit sehen werden.
Sie können einfach beim Klicken der nächsten Ausführungszeit auf dem Dashboard die Aufgabe ausführen oder stoppen. Dort können Sie „Schedule ON“ oder „Schedule OFF“ auswählen.
Methode 2 Automatischer Datenexport (für Cloud-Daten)
Der Datenexport in die Datenbank kann ebenfalls automatisiert und geplant werden. Wenn Sie regelmäßig Daten in Ihre Datenbanken exportieren möchten, kann Ihnen die Planung des Datenexports viel Arbeit ersparen.
Schritt 1 Laden Sie die Cloud-Daten für Ihre Aufgabe.
Schritt 2 Klicken Sie auf „Export Data“.
Schritt 3 Klicken Sie auf „Auto-export to database“ und wählen Sie dann den Typ Ihrer Datenbank aus, die Sie schon hatten.
Schritt 4 Füllen Sie die Informationen aus, um eine Verbindung mit Ihrer Datenbank herzustellen. Klicken Sie auf „Test connection“, um zu prüfen, ob die Datenbank erfolgreich verbunden ist. Klicken Sie dann auf „Next“, um fortzufahren und die Datenfelder abzubilden. Abschließend wählen Sie Ihr gewünschtes Zeitintervall für den Export.
Schritt 5 Zuletzt klicken Sie auf „Next“, um den Vorgang abzuschließen.
Schritt 6 Sie können Ihren automatischen Export-Aufgabe im „Database Auto-export Tool“ finden.
Methode 3 Verbindung durch API
Mit der Octoparse-API können Sie bei der Koordinierung mit Ihrer eigenen Applikation Scraping-Aufgaben ausführen, die extrahierten Daten abrufen und sogar Ihre Aufgaben programmatisch bearbeiten.
Lesen Sie die API-Dokumentation für weitere Details.
Methode 4 Verbindung durch Zapier
Sie können einfach durch Benutzung von Zapier die extrahierten Daten mit den anderen Applikationen (z.B. Google Drive, Google Sheet, Dropbox) verbinden, was keine Kodierung erfordert wird. Klicken Sie auf diesen Artikel, um mehrere Details herauszufinden: Wie wird Octoparse mit Zapier verbunden?(Englisch)