7 nützliche Tools zum Scrapen der Produktdetailseiten von Amazon

In diesem Artikel wird vorgestellt, welches Web-Scraping-Tool Sie für das Scrapen der Produktdetailseiten von Amazon verwenden können.

Die Liste umfasst Browser-Erweiterungen und multifunktionale Web-Scraping-Software, die in drei Dimensionen: verglichen werden: der Automatisierungsgrad / die Benutzerfreundlichkeit der Oberfläche / der Grad der freien Verwendbarkeit

7 Amazon Scraping Tools:

Browser-Erweiterungen:

• Data Miner

• Web Scraper 

• Scraper Parsers 

• Amazon Scraper - Trial Version

Scraping software:

• Octoparse 

• ScrapeStorm 

• ParseHub

Browser-Erweiterungen

Das Merkmal der Erweiterung ist einfach zu benutzen. Sie können sich schnell einen Überblick über Web Scraping verschaffen. Mit eher grundlegenden Funktionen eignen sich diese Optionen für gelegentliches Scraping oder kleine Unternehmen, die Informationen in einfacher Struktur und in kleinen Mengen benötigen.

Data Miner

Data Miner ist eine Erweiterung, das in Google Chrome und Microsoft Edge funktioniert. Es hilft Ihnen, Daten von Webseiten in eine CSV-Datei oder eine Excel-Tabelle zu scrapen. Für das Scrapen der Amazon Produktdetailseiten bietet Data Miner eine Reihe von benutzerdefinierten „recipes“ zur Verfügung. Wenn die angebotenen „recipes“ genau das sind, was Sie brauchen, könnte Sie mit wenigen Klicks Produktdetailseiten von Amazon zu scrapen. Wenn die angebotenen „recipes“ nicht Ihre Bedürfnisse 100 % erfüllen, können Sie noch „recipes“ kaufen.

Von Data Miner gescrapte Daten

Data Miner hat eine Schritt-für-Schritt-Benutzeroberfläche und grundlegende Funktionen für Web Scraping. Es ist eher für kleine Unternehmen oder den gelegentlichen Gebrauch empfehlenswert.

Es gibt ein Seitenlimit (500/Monat) für den kostenlosen Plan mit Data Miner. Wenn Sie mehr scrapen möchten, sind professionelle und andere kostenpflichtige Pläne verfügbar.

Web Scraper 

Web Scraper ist ein Erweiterungstool  mit einer in das Entwickler-Tool integrierten Zeigen-und-Klicken-Schnittstelle. Ohne bestimmte Vorlagen für E-Commerce- oder Amazon-Scraping müssen Sie Ihren eigenen Crawler erstellen, indem Sie die gewünschten Listing-Informationen auf der Webseite auswählen.

Integriertes UI in das Entwickler-Tool

Web Scraper bietet viele nützliche Funktionen (verfügbar für den kostenpflichtigen Plan), wie z. B. Cloud-Extraktion, geplantes Scraping, IP-Rotation, API-Zugang. Außerdem kann Web Scraper häufiger und eine größere Menge an Informationen scrapen.

Scraper Parsers 

Scraper Parsers ist eine Browser-Erweiterung, mit der unstrukturierte Daten extrahiert und visualisiert werden können. Die extrahierten Daten können auf der Website angezeigt oder in verschiedenen Formen (XLSX, XLS, XML, CSV) heruntergeladen werden. Mit den extrahierten Daten können Zahlen entsprechend in Diagrammen angezeigt werden.

Kleines, verschiebbares Panel

Die Benutzeroberfläche von Parsers ist ein Panel, das Sie herumziehen und durch Klicken auf den Browser auswählen können, und es unterstützt auch geplantes Scraping. Allerdings scheint es nicht so stabil zu sein und bleibt leicht stecken.Für einen Besucher ist die Nutzung auf 600 Seiten pro Website begrenzt. Sie können 590 weitere Seiten erhalten, wenn Sie sich anmelden.

Amazon Scraper - Testversion

Amazon Scraper ist im Webstore von Chrome zu finden. Es kann den Preis, die Versandkosten, den Produktkopf, die Produktinformationen, die Produktbilder und die ASIN von der Amazon Suchergebnissen scrapen.

Rechtsklick und scrapen

Gehen Sie auf der Suchseite mit den Ergebnissen, die Sie scrapen möchten, klicken Sie mit der rechten Maustaste und wählen Sie die Option "Scrap Asin From This Page". Die Informationen werden extrahiert und als CSV-Datei gespeichert.

Diese Testversion kann nur 2 Seiten einer Suchanfrage herunterladen. Sie können die Vollversion kaufen, um unbegrenzt viele Seiten herunterzuladen und 1 Jahr lang kostenlosen Support zu erhalten.

Scraping-Software

Wenn Sie regelmäßig von Amazon scrapen müssen, können Sie auf einige lästige Probleme stoßen, die Sie daran hindern, die Daten zu erreichen, z. B., IP-Sperre, Captcha, Einloggen, Umblättern, Daten in unterschiedlichen Strukturen usw.. Um diese Probleme zu lösen, brauchen Sie ein leistungsfähigeres Tool.

Octoparse 

Octoparse ist ein kostenloses Web-Scraping-Tool. Es hilft Benutzern, Webdaten schnell und ohne Programmierung zu scrapen. Im Vergleich zu anderen Programmen zeichnet sich dieses Produkt durch sein grafisches, intuitives UI-Design aus. Außerdem ist die Funktion „automatische Detektion“ auch erwähnenswert, die den Menschen ohne Programmierkenntnissen ermöglicht, Daten auf der Website einfach zu scrapen.

Im Vergleich zu der automatischen Detektion sind die Amazon-Vorlagen noch praktischer. Mithilfe von Amazon-Vorlagen können Sie sowohl die Produktlisteninformationen als auch detaillierte Seiteninformationen auf Amazon erhalten. 

Wenn die Vorlagen Ihre Bedürfnisse nicht erfüllen können, können Sie auch einen individuelleren Crawler erstellen, indem Sie den erweiterten Modus verwenden. 

Zahlreiche Vorlagen stehen zur Verfügung

Es gibt keine Begrenzung für die Menge der gescrapten Daten, selbst für den kostenlosen Plan, solange Sie Ihre Daten innerhalb von 10.000 Zeilen pro Aufgabe halten.

Mit Octoparse gescrapte Amazon-Daten

Leistungsstarke Funktionen wie Cloud-Service, geplantes automatisches Scraping, IP-Rotation (um IP-Sperren zu verhindern) werden in dem kostenpflichtigen Plan angeboten. Wenn Sie regelmäßig Bestandszahlen, Preise und andere Informationen von vielen Laden/Produkten überwachen möchten, sind diese Funktionen sehr hilfreich.

Relative Tutorials: 

Scrapen Produktdaten von Amazon

Scrapen Bewertungen von Amazon

ScrapeStorm 

ScrapeStorm ist ein KI-gestütztes visuelles Web-Scraping-Tool.  Sein intelligenter Modus funktioniert ähnlich wie die automatische Detektion in Octoparse und identifiziert die Daten auf intelligente Weise, damit manuelle Eingriffe nicht erforderlich sind. Sie brauchen also nur die URL der Amazon-Seite, die Sie scrapen möchten, einzugeben und darauf zu klicken.

Die „Pre-Login“-Funktion hilft Ihnen beim Scrapen von URLs, die eine Anmeldung erfordern, um den Inhalt anzuzeigen. Generell ist die Benutzeroberfläche der App wie ein Browser gestaltet und bequem zu bedienen.

Mit ScrapeStorm gescrapte Daten

Mit ScrapeStorm kann man 100 Datenzeilen pro Tag scrapen und zwei gleichzeitige Aufgaben sind erlaubt. Der Wert der Daten ergibt sich, nur wenn Sie genug davon für die Analyse haben, deswegen sollten Sie darüber nachdenken, Ihren Dienst zu erweitern, wenn Sie sich für dieses Tool entscheiden. Mit der Professional-Version können Sie 10.000 Zeilen pro Tag erhalten.

ParseHub

ParseHub ist ein kostenloser Web-Scraper. Wie die meisten der oben genannten Scraping-Tools unterstützt es den Aufbau von Crawlern durch Anklicken und Auswählen sowie den Export von Daten in strukturierte Tabellenkalkulationen.

Für Amazon unterstützt Parsehub keine automatische Detektion und bietet auch keine Amazon-Vorlagen an. Wenn Sie jedoch bereits Erfahrung mit der Verwendung eines Scraping-Tools haben, können Sie das Tool probieren.

Erstellen Sie Ihren Crawler auf Parsehub

Sie können Bilder und Dateien in DropBox speichern, mit IP-Rotation und Zeitplanung arbeiten, wenn Sie mit einem Standard-Plan beginnen. Nutzer der kostenlosen Version können maximal 200 Seiten in einer Ausführung scrapen. Außerdem vergessen Sie nicht, ein Backup von Ihrer Daten zu machen, denn die Daten werden bei ParseHub für 14 Tage behalten, dann werden die gelöst.

Etwas mehr als nur Tools

Tools sind für die einfache Nutzung konzipiert. Sie sollen komplizierte Vorgänge vereinfachen.

Es kommt aber auch häufig vor, dass Benutzer unerwartete Fehler machen, weil die Strukturen der Websites sich ständig ändert. Um das Problem zu lösen, ist es unvermeidbar, etwas über  html und Xpath zu lernen. Es geht nicht so weit, dass man zum Programmierer wird, aber die Kenntnisse sind sehr hilfreich bei der Erstellung eines Crawlers.

Wenn Sie haben komplett keine Lust, selbst dies zu lernen und direkt Daten erhalten möchten, ist der Octoparses Daten-Service eine gute Wahl für Sie. Wir arbeiten eng mit Ihnen zusammen, um Ihren Datenbedarf zu verstehen und zu decken. Sprechen Sie jetzt mit einem Datenexperten von Octoparse und erfahren, wie Web Scraping Ihnen helfen können.