Die Daten von Online-Shops wie eBay oder Amazon zu scrapen ist eine wichtige Methode, die es Ihnen ermöglicht, den Vergleich zwischen den meistverkauften Produkten anhand von Preisen, Eigenschaften und Produktbeschreibungen einfach durchzuführen. Web-Scraping ist im Bereich E-Commerce von großer Bedeutung, da es Ihnen helfen kann, die Preise, Funktionen und Produktbeschreibungen der populären Produkte von verschiedenen Online-Shops zu vergleichen.

In diesem Tutorial wird es erläutert, wie man mit Octoparse Produktdaten von eBay scrapen kann.

Sie können viele Aufgabenvorlagen im Hauptbildschirm des Octoparse Scraping-Tools finden und direkt mit den vorgefertigten eBay-Vorlagen beginnen, um Ihre Zeit zu sparen. Mit dieser Funktion müssen Sie keine Scraping-Aufgaben konfigurieren. Für weitere Details können Sie hier nachlesen: Aufgabenvorlagen

Wenn Sie wissen möchten, wie Sie die Aufgabe mit der Aufgabenvorlage erstellen, können Sie das Tutorial weiter lesen.

Wir werden Daten wie den Namen, den Zustand, den Preis und weitere Informationen von der Produktdetailseite von Ebay scrapen.

Zum Nachvollziehen können Sie diese URL im Lernprogramm verwenden:

https://www.ebay.com/sch/Digital-Cameras-/31388/i.html

Wir werden die Produktinformationen von "Digitalkamera" auf eBay scrapen. Sehen Sie sich die wichtigsten Schritte in der folgenden Anleitung an [Sie können hier die Aufgabendatei  herunterladen ]

1. "Go To Web Page" - Öffnen Sie die Ziel-Webseite

2. Automatische Detektion der Webseite - Erstellen eines Workflows

3. Wählen Sie den Link, um die Daten auf der Detailseite zu scrapen

4. Extrahieren Daten auf der Produkt-Detailseite

5. Ändern den XPath der Datenfelder

6. Extraktion starten - die Aufgabe ausführen und die Daten abrufen

 1. "Go To Web Page" - Öffnen Sie die Ziel-Webseite

• Geben Sie die Beispiel-URL ein und klicken Sie auf "Start".

2. Automatische Detektion der Webseite - Erstellen eines Workflows

• Klicken Sie auf "Automatische Detektion der Webdaten" und warten Sie, bis die Detektion abgeschlossen ist

• Löschen Sie unerwünschte Felder und ändern Sie bei Bedarf Feldnamen in der Datenvorschau

• Wählen Sie "Workflow erstellen" in „Tipps“

Jetzt haben Sie ein Workflow wie unten schon dargestellt.

Wenn alle Daten, die Sie benötigen, schon gescrapt werden, können Sie hier aufhören und zu "Extraktion starten - führen Sie die Aufgabe aus" springen und erhalten Sie die Daten. Wenn Sie noch zu der Produkt-Detailseite gehen möchten, um detaillierte Informationen zu erhalten, folgen Sie bitte den unten stehenden Schritten.

3. Klicken Sie in jeden Detail-Link, um weitere Informationen zu scrapen

• Wählen Sie "Klicken auf den Link, um die verlinkten Seiten zu scrapen" in „Tipps“

• Wählen Sie "Title_URL" aus der Dropdown-Option

• Klicken Sie auf "Bestätigen"

Octoparse würde automatisch auf die erste Detailseite gehen.

4. Daten auf der Produktdetailseite extrahieren

• Wählen Sie "Webseitendaten automatisch erkennen"  

• Wenn Octoparse die benötigten Daten erkennt, wählen Sie "Workflow erstellen"

• Wenn nicht, dann wählen Sie "Abbrechen"

• Klicken Sie auf die gewünschten Elemente und wählen Sie "Den Text des ausgewählten Elements extrahieren"

• Bearbeiten  Sie bei Bedarf den Namen des Datenfeldes

Tipps!

Sie können den Schritt "Daten extrahieren" durch Doppelklick im Workflow modifizieren.

Schauen Sie sich die folgenden Tutorials für Details an:

• Elementtext/URL/Bild/HTML/Attribut extrahieren

• Daten auf Seitenebene extrahieren

• Daten extrahieren

5. Ändern Sie den XPath der Datenfelder

Möglicherweise müssen Sie den XPath einiger Datenfelder modifizieren, die nicht auf jeder Produktseite angezeigt werden, oder die Feldposition variiert von Seite zu Seite, wie z. B. MPN oder UPC. Wir können den XPath modifizieren, um das Data Scraping präziser zu machen. Es sieht kompliziert aus? Keine Sorge! Wir haben einige häufig verwendete XPaths für Sie vorbereitet. Sie können einfach den unten bereitgestellten Element-XPath verwenden.

• Doppelklicken Sie auf den "Extract Data1"

• Klicken Sie auf die Option "XPath modifizieren" eines Feldes

• Ersetzen Sie den XPath durch den überarbeiteten (Sie können ihn je nach Ihren Scraping-Bedürfnissen auswählen. Der XPath soll mit Elementen übereinstimmen, die auf der Webseite zu finden sind).

• MPN: //td[contains(text(),'MPN')]/following-sibling::td[1]

• EAN: //td[contains(text(),'EAN')]/following-sibling::td[1]

• UPC: //td[contains(text(),'UPC')]/following-sibling::td[1]

• Artikelgewicht: //td[contains(text(),'Item Weight')]/following-sibling::td[1]

• Klicken Sie auf "OK", um den neuen Xpath zu speichern

Tipps!

Sie können die XPath-Tutorials weiter lesen, um bei Bedarf XPaths für andere Felder zu verändern:

• Was ist XPath

• Ein Element durch nahegelegenen Text finden und auslesen

6. Extraktion ausführen - führen Sie Ihre Aufgabe aus und erhalten Sie die Daten

• Klicken Sie auf "Speichern"

• Klicken Sie auf "Ausführen"

• Wählen Sie "Aufgabe auf Ihrem Gerät ausführen", um die Aufgabe mit Ihrem lokalen Gerät auszuführen, oder wählen Sie "Aufgabe in der Cloud ausführen", um die Aufgabe auf unseren Cloud-Servern auszuführen (nur für Premium-Benutzer)

Hier sind Daten für die Beispielaufgabe.