Alle Kollektionen
Octoparse Performance
Datenexport
Wie kann ich Daten in eine Datenbank exportieren?
Wie kann ich Daten in eine Datenbank exportieren?
Vor über einer Woche aktualisiert

Neben dem Datenexport in Formate wie XLS, CSV, HTMl usw. unterstützt Octoparse auch den Datenexport in Ihre Datenbank (MySQL, SQL Server).

Für den Datenexport in die Datenbank gibt es zusammen zwei Methoden, die wir unterstützen: manuell und automatisch. In diesem Tutorial würde ich Ihnen die zwei Methoden und das Auto-Export-Tool von Octoparse vorstellen, damit Sie ein klares Verständnis darüber haben.

Anmerkung: Die Datenbank-Exportfunktion unterstützt nur MySql und SqlServer. Wenn Sie eine Verbindung zu anderen Datenbanken oder Plattformen (z. B. Ihren eigenen Websites) benötigen, lesen Sie bitte das Octoparse API Dokument: Mirgating to Octoparse OpenAPI oder Verwendung von Zapier.


Methode 1 Manuelles Exportieren der extrahierten Daten in die Datenbank (für Lokal- und Cloud-Datenextraktion)

1. Schritte für manuelles Exportieren

- Schritt 1 Überprüfen der Voraussetzungen

Hier sind die Voraussetzungen, bevor wir beginnen:

  • Eine Aufgabe mit extrahierten Daten (sowohl lokale als auch Cloud-Daten sind in Ordnung)

  • Eine Tabelle mit Datenfeldern, die in Ihrer Datenbank für den Empfang von Daten konfiguriert sind

- Schritt 2 Exportieren Ihrer Daten in die Datenbank

Wenn alles in Ordnung ist, können Sie jetzt Ihre Daten in die Datenbank exportieren. Dieses Tutorial verwendet die MySql-Datenbank und die lokalen extrahierten Daten einer Aufgabe als Beispiel. Nun los geht es!

  • Prozess 1: Klicken Sie auf die Schaltfläche „Export Data“.

  • Prozess 2: Wählen Sie den Typ Ihrer Datenbank.

  • Prozess 3: Klicken Sie auf „OK“.

auf „OK“ klicken

  • Prozess 4: Füllen Sie die erforderlichen Felder über die Einstellungen der Zieldatenbank aus.

erforderliche Felder füllen

  • Prozess 5: Klicken Sie nach dem Ausfüllen der Informationen auf „Test Connection“, um zu sehen, ob Sie eine Verbindung zu Ihrer Datenbank hergestellt haben.

Wenn die Einstellungen gut funktionieren, erhalten Sie die Meldung „Connected“. Dann können Sie auf „Next“ klicken, um fortzufahren.

- Schritt 3 Konfigurieren der Datenzuordnungen

Jetzt müssen wir die Datenzuordnungen konfigurieren.

  • Prozess 1: Wählen Sie eine vorhandene Tabelle aus den Dropdown-Optionen für die Datentabelle aus.

  • Prozess 2: Stimmen Sie die Quelldatenfelder (extrahierte Datenfelder) mit den Zieldatenfeldern der gewünschten Tabelle ab.

  • Prozess 3: (Optional)Wählen Sie Quelldatenfelder aus, die als Bezeichner (Primärschlüssel) verwendet werden sollen.

  • Prozess 4: Nachdem die Datenzuordnungen konfiguriert sind, klicken Sie auf "Export" und warten Sie, bis der Datenexport abgeschlossen ist.


2. Speicherung der Einstellungen

Sobald die Konfiguration abgeschlossen ist, kann sie zur späteren Verwendung gespeichert werden. Sie können die Einstellung zunächst benennen und dann auf die Schaltfläche „Save“ klicken, um sie zu speichern.

Wenn Sie beim nächsten Mal Ihre vorherigen Datenbankexporteinstellungen verwenden möchten, können Sie einfach eine gespeicherte Einstellung auswählen, um Zeit zu sparen.


3. Export der Einstellungen

Sie können die Anzahl der zu exportierenden Datenzeilen festlegen. Es wäre besser, eine kleinere Anzahl einzustellen, wenn die Größe einer Datenzeile groß ist.

Aktivieren Sie „Ignore errors“, damit Octoparse den Export nicht abbricht, wenn es auf Fehler stößt.

Klicken Sie auf die Schaltfläche „Completed“, um den Vorgang zu beenden, nachdem Sie die Meldung „Export Completed“ erhalten haben.

Dann können Sie zu Ihrer Datenbank gehen und überprüfen, ob die Daten korrekt geliefert wurden.

Tipps!

  1. Sobald ein Datenfeld als Primärschlüssel ausgewählt wurde, überschreiben nachfolgende Datensätze mit demselben Primärschlüssel die bestehenden in der Datenbank.

  2. Wenn Sie Probleme haben, die extrahierten Daten in Ihre Datenbank zu übertragen, können Sie die Daten auch zunächst in eine CSV-Datei exportieren. Laden Sie dann die CSV-Datei in Ihre Datenbank hoch.


Methode 2 Automatisches Exportieren der extrahierten Daten in die Datenbank (Nur für Cloud-Datenextraktion

1. Überprüfen der Voraussetzungen

  • Eine Aufgabe mit Cloud-Datenergebnissen (Auto-Export zur Datenbank ist nur für Cloud-Daten)

  • Eine Tabelle mit Datenfeldern, die in Ihrer Datenbank für den Empfang von Daten konfiguriert sind


2. Wie man sich mit seiner Datenbank verbindet

In diesem Tutorial wird die MySql-Datenbank als Beispiel verwendet.

- Schritt 1 Schauen Sie die Cloud-Daten des Zielvorgangs an.

  • Prozess 1: Klicken Sie auf die Schaltfläche „Export Data“.

  • Prozess 2: Öffnen Sie „Export to Database“ oder „Auto-export“ in die Datenbank

  • Prozess 3: Wählen Sie den Typ Ihrer Datenbank

  • Prozess 4: Drücken Sie „OK“.

„OK“ drücken

  • Prozess 5: Füllen Sie die erforderlichen Felder für die Einstellungen der Zieldatenbank aus.

erforderliche Felder füllen

- Schritt 2 Konfigurieren Sie die Datenmappings

Nach der Ausfüllung klicken Sie auf „Test Connection“, um zu sehen, ob die Daten in Ihre Datenbank verbunden werden können.

Wenn die Einstellungen gut funktionieren, werden Sie eine Meldung „Connected“ am Oberen erhalten. Dann können Sie auf „Next“ klicken, um fortzufahren.

Wir brauchen jetzt die Datenmappings konfigurieren.

  • Prozess 1: Selektieren Sie eine vorgestellte Tabelle aus dem Dropdown-Optionen der Datentabelle (auf Englisch „Data Table drop-down options“).

eine vorgestellte Tabelle selektieren

  • Prozess 2: Stimmen Sie die Quelldatenfelder (extrahierte Datenfelder) mit den Zieldatenfeldern der gewünschten Tabelle ab.

  • Prozess 3: Wählen Sie beliebige Quelldatenfelder aus, die als Bezeichner (Primärschlüssel) verwendet werden sollen.

beliebige Quelldatenfelder wählen

- Schritt 3: Bauen Sie die Zeitplaneinstellungen auf.

Um manuell zu exportieren, können Sie nun zum nächsten Schritt gehen. Für den automatischen Export müssen Sie die Zeitplaneinstellungen aufbauen.

  • Prozess 1: Geben Sie den Namen des Zeitplans in das Textfeld neben „Scheduled Export“ ein.

  • Prozess 2: Wählen Sie aus, in welchem Zeitintervall Sie die Daten in die Datenbank exportieren möchten, d.h. im Screenshot ist der Export für alle 1 Stunde geplant.

  • Prozess 3: Klicken Sie auf „Next“.

auf „Next“ klicken
  • Prozess 4: Nachdem die Einrichtung abgeschlossen ist, klicken Sie auf die Schaltfläche „Completed“, um das Programm zu beenden.

Tipps!

Sobald ein Datenfeld als Primärschlüssel ausgewählt wurde, überschreiben nachfolgende Datensätze mit demselben Primärschlüssel die bestehenden in der Datenbank.

*Einstellungen speichern:

Sobald die Konfiguration abgeschlossen ist, kann sie zur späteren Verwendung gespeichert werden. Sie können die Einstellung zunächst benennen und dann auf die Schaltfläche „Save“ klicken, um sie zu speichern.

Einstellungen speichern

Wenn Sie beim nächsten Mal Ihre vorherigen Datenbankexporteinstellungen verwenden möchten, können Sie einfach eine gespeicherte Einstellung auswählen, um Zeit zu sparen.

gespeicherte Einstellung auswählen


3. Vorstellung des Tools für den automatischen Datenbankexport

Nachdem Sie die Datenbankeinstellungen festgelegt haben, wird gleichzeitig das Auto-export Tool angezeigt. Es zeigt Ihnen alle Einzelheiten der Konfiguration von automatischem Export in die Datenbank an. Sie sollten auf „Start“ klicken, um den Export zu beginnen. Octoparse würde nach dem Starten im Intervall die Daten exportieren, das Sie erstellt haben.

alle Einzelheiten

Im Pop-up Fenster können Sie den geplanten automatischen Export in die Datenbank starten/stoppen/löschen. Außerdem können Sie den Fehlerbericht überprüfen.

Bitte beachten Sie, dass Sie das Tool für den automatischen Datenbankexport geöffnet lassen müssen, damit die Daten weiterhin exportiert werden. Das bedeutet, dass Sie Ihren Computer während des Exports nicht ausschalten können. Andernfalls wird der Export Ihrer Aufgabe abgebrochen.

Tipps!

1. Das Autoexport-Tool ist auch über den „Tool box“ in der Seitennavigation zugänglich.

Tool box

2. Der Export wird sofort gestartet, wenn Sie auf die Schaltfläche „Start“ klicken.

3. Beim automatischen Export in die Datenbank werden immer nur die nicht exportierten Daten exportiert.

Hat dies Ihre Frage beantwortet?