Web Scraper im Vergleich 2026: 13 Tools für No-Code, KI und Entwickler

Muss ich zum Scrapen selbst programmieren, oder gibt es fertige Lösungen?

Das ist meist die erste Frage, und sie entscheidet mehr als jede Funktionsliste. Fertige Lösungen gibt es reichlich. Der Unterschied liegt 2026 nicht mehr darin, ob ein Web Scraping Tool ohne Code auskommt, sondern wie weit es danach trägt. Also ob es Ihren konkreten Anwendungsfall bereits abdeckt, ob Läufe planbar sind und ob die Daten per API, CLI oder KI-Agent in Ihre Systeme weiterlaufen.

Kurz, welcher Web Scraper zu welchem Profil passt.

• Fertige Vorlagen für konkrete Anwendungsfälle. Octoparse. Über 600 gepflegte Vorlagen, ohne Code nutzbar, per API, CLI und MCP bis in KI-Agenten einbindbar.
• Entwicklernahe Cloud-Pipelines. Apify. Ein Marktplatz aus Aktoren, stark bei skalierbaren und versionierten Abläufen.
• KI-native Ad-hoc-Extraktion. Thunderbit. Erkennt Felder direkt im Browser, ideal für eine einzelne Ansicht.
• LLM-fertige Ausgabe. Firecrawl. Wandelt Seiten in Markdown und JSON für RAG- und Agent-Workflows.
• Volle Kontrolle per Code. Scrapy und Crawl4AI. Open Source in Python, jede Logik selbst gebaut.

Alle Angaben beruhen auf den offiziellen Dokumentationen der Anbieter, Stand 08/2026. Wo wir eigene Beobachtungen ergänzen, ist das im jeweiligen Abschnitt vermerkt.

Worauf es bei der Auswahl ankommt

Bevor Sie einzelne Werkzeuge vergleichen, lohnt sich ein Blick auf sieben Fragen. Sie entscheiden meist schneller als jede Funktionsliste.

Cloud-Plattformen mit fertigen Scrapern

In dieser Gruppe liegt die Arbeit auf einem Server des Anbieters, und für viele Zielseiten existiert bereits ein fertiger Baustein, den Sie nur noch starten. Wenn Ihre Zielseite dabei ist, ist das der schnellste Weg zu Daten. Die Anbieter unterscheiden sich vor allem darin, wie viele dieser Bausteine es gibt, wer sie pflegt und wie abgerechnet wird.

Octoparse: von der fertigen Vorlage bis zum KI-Agenten

Octoparse ist kein Werkzeugkasten, mit dem Sie bei null anfangen. Für über 600 Anwendungsfälle gibt es bereits eine gepflegte Vorlage, von Branchenverzeichnissen über Kleinanzeigen bis zu Stellenportalen. Sie geben Suchbegriff und Ort ein, die Felder sind bereits sauber getrennt, und der Lauf ist reproduzierbar. Genau hier liegt der Unterschied zu einem Marktplatz, denn die Vorlagen werden zentral gepflegt und nicht von wechselnden Einzelentwicklern. Sie müssen also nicht erst prüfen, welche von hundert Varianten aktuell noch funktioniert.

Viele No-Code-Scraper enden beim Klicken und Exportieren. Bei Octoparse geht es danach weiter. Läufe lassen sich in der Cloud zeitlich planen und die Ergebnisse per API abrufen. Über die Kommandozeile startet eine fertige Aufgabe aus einem Skript, einem Cron-Job oder einem KI-Agenten heraus, und über MCP genügt natürliche Sprache aus Claude, ChatGPT oder Cursor, um eine vorhandene Cloud-Vorlage auszulösen und die Daten direkt bereinigen und auswerten zu lassen. So bleibt das Werkzeug ohne Code nutzbar und ist zugleich für Entwickler offen.

Für den deutschsprachigen Raum kommt ein Punkt hinzu, der in Vergleichen selten auftaucht. Octoparse ist unter anderem auf Deutsch verfügbar, und die Vorlagenbibliothek deckt auch nicht englischsprachige Portale ab. Bei Plattformen, deren Oberfläche und Vorlagen ausschließlich auf Englisch vorliegen, hängt die Abdeckung deutscher Quellen dagegen davon ab, ob ein einzelner Entwickler sie gebaut hat. Wer gezielt Branchenverzeichnisse auslesen möchte, findet dazu einen eigenen Vergleich der Tools für Gelbe Seiten.

Grenzen gibt es ebenfalls. Der Desktop-Client läuft unter Windows ab Version 7 (64 Bit) und unter macOS ab 10.14, Chromebooks und Linux werden laut Anbieter nicht unterstützt. Wer keinen Client installieren kann oder darf, arbeitet über die Weboberfläche und startet dort vorhandene Cloud-Vorlagen. Nur Vorlagen, die ausschließlich lokal laufen, setzen den Client voraus. Bei Seiten mit aggressivem Bot-Schutz stößt außerdem jede No-Code-Logik irgendwann an eine Grenze, dazu mehr im Abschnitt zum Anti-Bot-Schutz.

Seine Stärke spielt Octoparse dort aus, wo dieselben Felder regelmäßig aus deutschsprachigen Portalen kommen sollen und die Daten anschließend in Vertriebs- oder KI-Workflows weiterlaufen. Für die einmalige Extraktion einer einzelnen Ansicht ist eine KI-native Erweiterung dagegen schneller. Auf Capterra Deutschland kommt das Tool auf 4,7 von 5 Punkten bei 107 Bewertungen, mit einer Weiterempfehlungsquote von 90 Prozent.

Ein Beispiel

Ein Vertriebsteam braucht monatlich neue Firmenkontakte aus einem Branchenverzeichnis. Die Vorlage bekommt Suchbegriff und Ort, liefert je Eintrag Firmenname, Adresse, Telefonnummer, E-Mail und Website und legt zu jeder Zeile die Quell-URL und den Erfassungszeitpunkt dazu. Eingerichtet wird der Lauf einmal, danach läuft er monatlich in der Cloud.

Apify: ein Marktplatz aus Aktoren

Apify ist keine einzelne Scraping-Lösung, sondern ein Marktplatz. Ein Aktor ist ein fertiges, containerisiertes Programm, das eine Website oder eine Aufgabe abdeckt und sich über eine API ansteuern lässt. Der Store umfasst laut Anbieter über 61.000 solcher Aktoren, sortiert nach Kategorien von E-Commerce über Lead-Generierung bis zu MCP-Servern. Die meistgenutzten decken große internationale Plattformen ab, etwa Google Maps oder Instagram.

Diese Breite ist die eigentliche Stärke der Plattform, sie bringt aber eine Eigenheit mit sich. Aktoren von Apify selbst stehen neben Aktoren unabhängiger Entwickler, und für einzelne regionale Portale stammt die Mehrzahl aus der Community. Wartung, Aktualität und Datenqualität liegen dann beim jeweiligen Autor, ältere Aktoren werden mitunter als veraltet markiert. Für Ihre konkrete Zielseite entscheidet also, ob jemand einen passenden Aktor gebaut und aktuell gehalten hat.

Auf KI-Agenten ist Apify früh zugegangen. Über einen gehosteten MCP-Server kann ein Agent den Store durchsuchen und einen Aktor direkt beim Namen aufrufen, ohne ihn vorher einzurichten. Für Teams, die Scraping als Baustein einer Agenten- oder Datenpipeline behandeln, ist das eine sehr direkte Anbindung.

Abgerechnet wird nutzungsbasiert über Compute Units, Proxys und Speicher. Der kostenlose Plan enthält laut Anbieter ein monatliches Plattformguthaben, gemietete Aktoren lassen sich darin nur eingeschränkt testen und werden danach separat monatlich abgerechnet. Der sichtbare Startpreis eines Aktors sagt deshalb wenig über die laufenden Kosten aus.

Ein Beispiel

Ein Entwicklerteam baut eine eigene Anwendung und braucht dafür Daten von mehreren großen internationalen Portalen. Für diese Portale gibt es fertige Aktoren, die per API angestoßen werden, und die Ergebnisse laufen über Webhooks direkt in die eigene Datenbank, ohne dass jemand eine Datei herunterlädt.

Bright Data: Infrastruktur für große Volumen

Bright Data kommt aus der Proxy- und Infrastrukturecke. Der Schwerpunkt liegt weniger auf der Oberfläche als darauf, Seiten überhaupt zuverlässig abrufen zu können, auch wenn diese automatische Zugriffe aktiv blockieren. Dazu gehören Proxy-Rotation, das Umgehen von Sperren und das Rendern von JavaScript. Für große Plattformen stehen laut Anbieter 1.466 fertige Scraper bereit, der kostenlose Einstieg umfasst 5.000 Datensätze pro Monat.

Ein Beispiel

Ein Preisvergleich ruft täglich Millionen Produktseiten ab, die aktiv gegen automatische Zugriffe geschützt sind. Bright Data liefert die Seiten samt Umgehung der Sperren, sodass sich das eigene Team um die Auswertung kümmert und nicht um blockierte Anfragen.

Outscraper: spezialisiert auf lokale Verzeichnisse

Outscraper deckt keine beliebigen Seiten ab, sondern eine feste Auswahl von Diensten, darunter Google Maps, Google-Bewertungen, Bewertungsportale und Kontaktdaten von Firmenwebsites. Der eigentliche Reiz liegt in der Verkettung. Der eine Dienst liefert die Firmen samt Website-Adresse, der andere nimmt genau diese Adressen als Eingabe und durchsucht die Seiten nach E-Mail-Adressen, Telefonnummern und Social-Media-Profilen. Beide Schritte lassen sich in einem Durchlauf verbinden. Eine eigene Liste von Domains können Sie ebenso als Datei hochladen. Jeder Dienst hat ein eigenes kostenloses Kontingent, bei Google Maps und den Kontaktdaten laut Anbieter jeweils 500 Einträge pro 30 Tage.

Ein Beispiel

Ein Handwerksbetrieb sucht Ansprechpartner bei Hausverwaltungen in seiner Region. Outscraper zieht aus Google Maps Firmenname, Adresse, Telefonnummer, Bewertung und Website und sucht anschließend auf diesen Websites nach E-Mail-Adressen.

No-Code Web Scraper

Hier legen Sie selbst fest, was ausgelesen werden soll, aber ohne Code. Sie klicken die Felder in einer Oberfläche an oder lassen sie von einer KI vorschlagen. Das ist der Weg, wenn für Ihre Seite keine fertige Vorlage existiert oder wenn Sie die Felder genau bestimmen möchten. Die Werkzeuge unterscheiden sich vor allem in der Form, also Desktop, Cloud oder Browser-Erweiterung.

Thunderbit: KI-nativer Browser-Scraper

KI-nativ bedeutet, dass ein KI-Modell die Felder zur Laufzeit selbst erkennt und zuordnet, statt dass vorab feste Selektoren definiert werden. Thunderbit läuft als Erweiterung in Chrome und Edge sowie als Web-Version. Auf einer Trefferliste schlägt die KI die Felder automatisch vor. Ein Klick genügt, oder Sie beschreiben im Dialogfeld, was gesammelt werden soll.

Interessanter als die Erkennung selbst ist, wie sich die Felder definieren lassen. Sie beschreiben eine Spalte in normaler Sprache, und die KI liefert den Wert direkt in dieser Form. Eine Spalte „Zusammenfassung in einem Satz” gibt statt des kompletten Beschreibungstextes einen Satz zurück. Eine Anweisung wie „Datum als JJJJ-MM-TT” vereinheitlicht das Format schon beim Auslesen. Und eine Spalte „Kundentyp” ordnet jeden Eintrag nach Kriterien zu, die Sie selbst formulieren. Das Aufräumen in der Tabelle entfällt damit zu großen Teilen.

Daneben gibt es fertige Vorlagen für große Plattformen wie Amazon, eBay oder Google Maps, die laut Anbieter ohne KI-Guthaben laufen, und verlinkte Unterseiten lassen sich mit auslesen. Exportiert wird unter anderem nach Google Sheets, Airtable und Notion. Im deutschsprachigen Alltag fallen zwei Punkte auf. Der CSV-Export nutzt Komma-Trennung, was sich in deutschen Excel-Installationen nicht immer sauber in Spalten aufteilt. Und die kostenlose Version ist laut Anbieter auf sechs Seiten pro Monat begrenzt, das Auslesen von Unterseiten gehört zu den bezahlten Plänen.

Ein Beispiel. Sie sichten im Browser gerade die Ausstellerliste einer Messe. Neben Firmenname, Stand und Website legen Sie eine Spalte „Branche in einem Wort” und eine Spalte „Firmenbeschreibung in einem Satz” an. Die Tabelle ist damit sofort sortier- und filterbar, ohne dass sie jemand nachträglich aufräumt.

Thunderbit ist damit vor allem dort stark, wo Sie im Browser bleiben und die Daten bereits beim Auslesen aufbereiten lassen möchten. Einen ausführlichen Vergleich mit Octoparse haben wir in einem eigenen Beitrag zusammengestellt.

Browse AI: Überwachung statt einmaliger Export

Browse AI ist auf wiederkehrende Beobachtung ausgelegt. Sie zeichnen einmal auf, was auf einer Seite ausgelesen werden soll, und der sogenannte Roboter wiederholt das nach Zeitplan und meldet Änderungen. Der kostenlose Plan läuft dauerhaft, ist laut Anbieter aber auf 50 Guthabeneinheiten pro Monat und zwei Websites begrenzt, die kürzeste Prüffrequenz liegt bei einer Stunde. Für wenige, dafür dauerhaft beobachtete Seiten ist das schlank. Für breit angelegte Erhebungen ist die Begrenzung auf zwei Websites der Engpass.

Ein Beispiel

Sie möchten wissen, wann ein Wettbewerber seine Preisseite ändert. Der Roboter ruft die Seite stündlich auf, vergleicht sie mit dem letzten Stand und meldet Abweichungen nach Google Sheets oder per Webhook.

Web Scraper: die Erweiterung für einzelne Sitemaps

Die Chrome-Erweiterung gehört zu den bekanntesten Einstiegen ins Thema. Sie legen im Browser eine sogenannte Sitemap an, also eine Abfolge von Klicks und Feldern, und lassen den Durchlauf lokal laufen. Für einzelne Aufgaben reicht das. Zeitpläne, API und Cloud-Läufe gehören laut Anbieter zu den bezahlten Plänen, die sich sieben Tage testen lassen. Weitere Erweiterungen dieser Art finden Sie in unserer Übersicht der Chrome-Erweiterungen zum Scrapen.

Ein Beispiel

Aus einem Onlineshop sollen einmalig Produktname, Preis und Artikelnummer über mehrere Ergebnisseiten hinweg gesammelt werden. Die Sitemap wird im Browser zusammengeklickt, das Ergebnis kommt als CSV.

ParseHub: No-Code-Desktop für verschachtelte Abläufe

ParseHub stammt aus der No-Code-Generation vor der KI-Welle. Seine Stärke liegt bei Seiten, die das Gewünschte erst nach mehreren Schritten zeigen, etwa nach dem Setzen von Filtern oder dem Absenden eines Formulars. Solche Abläufe lassen sich visuell nachbauen. Eine kostenlose Version ist verfügbar, für den Einstieg sollten Sie etwas Einarbeitungszeit einplanen.

Ein Beispiel

Eine Suchmaske gibt ihre Treffer erst nach Auswahl mehrerer Filter aus. ParseHub klickt diese Schritte in einer festen Reihenfolge durch und sammelt anschließend die Ergebnisliste ein.

Open Source und KI-native Tools

Alle Werkzeuge dieser Gruppe setzen Programmierkenntnisse voraus, dafür haben Sie volle Kontrolle über jeden Schritt. Diese Gruppe hat sich in den letzten beiden Jahren am stärksten verändert. Oben in der Aufmerksamkeit der Entwickler stehen heute nicht mehr die klassischen Frameworks, sondern Werkzeuge, die Webseiten von vornherein für Sprachmodelle aufbereiten. Ein grober Gradmesser dafür sind die Sterne auf GitHub, mit denen Entwickler Projekte markieren, die sie im Blick behalten wollen. Firecrawl kommt dort auf 169k, Playwright auf 94,7k, Crawl4AI auf 78,5k und Scrapy, lange der Standard, auf 63,9k. Was diese Werkzeuge verbindet, ist weniger die Extraktion selbst als das Ausgabeformat und die Anbindung an Agenten.

Firecrawl: Webseiten als Kontext für Sprachmodelle

Firecrawl beschreibt sich selbst als Kontext-API. Statt HTML zurückzugeben, liefert es Seiten direkt als Markdown, JSON, HTML oder Screenshot, also in Formaten, die ein Sprachmodell ohne Zwischenschritt verarbeiten kann. Der praktische Nutzen liegt beim Tokenverbrauch. Wer eine Seite als Roh-HTML in ein Modell gibt, bezahlt Navigation, Skripte und Werbung mit.

Für Agenten steht ein gehosteter MCP-Server bereit, über den Suchen, Abrufen und Parsen direkt aus einem Assistenten heraus laufen. Der kostenlose Plan enthält laut Anbieter 1.000 Credits pro Monat. Der Code steht unter AGPL-3.0, was bei der Einbettung in eigene kommerzielle Produkte zu beachten ist.

Ein Beispiel

Ihr Support-Team soll Fragen zu einem Fremdprodukt beantworten können. Firecrawl holt dessen Hilfeseiten als sauberen Text, dieser Text wandert in Ihren internen Assistenten, und das Team fragt anschließend in normaler Sprache, statt die Dokumentation zu durchsuchen.

Crawl4AI: sauberes Markdown für RAG-Pipelines

Crawl4AI verfolgt ein ähnliches Ziel, ist aber vollständig quelloffen unter Apache-2.0 und wird selbst betrieben, per pip oder als Docker-Container. Das Kernstück heißt Fit Markdown. Ein heuristischer Filter entfernt Navigation, Banner und Wiederholungen, sodass der eigentliche Inhalt übrig bleibt. Links werden dabei in eine nummerierte Quellenliste überführt, was für Zitate in RAG-Anwendungen praktisch ist.

Dazu kommt adaptives Crawlen. Das Werkzeug entscheidet anhand der bereits gesammelten Informationen selbst, wann genug Material für eine Frage vorliegt, statt eine feste Seitenzahl abzuarbeiten. Extraktionsregeln lassen sich klassisch per Selektor oder über ein Sprachmodell definieren.

Ein Beispiel

Eine Marktbeobachtung sammelt wöchentlich Fachbeiträge zu einem Thema, und am Ende steht ein Bericht, in dem jede Aussage eine Quelle braucht. Crawl4AI liefert den reinen Artikeltext ohne Menüs und Werbung, dazu eine nummerierte Liste aller Links, aus der die Belege entstehen.

ScrapeGraphAI: Extraktion in natürlicher Sprache

ScrapeGraphAI ist eine Python-Bibliothek, die Sprachmodelle mit einer Graphenlogik verbindet. Sie schreiben keine CSS-Selektoren, sondern formulieren, was Sie brauchen, etwa eine Beschreibung des Unternehmens, die Gründerinnen und Gründer sowie die Links zu sozialen Netzwerken. Das Modell entscheidet dann, welche Stellen der Seite dafür relevant sind.

Der Vorteil zeigt sich bei Seiten, deren Aufbau sich häufig ändert. Ein Selektor bricht bei jedem Relaunch, eine Beschreibung nicht. Der Preis dafür sind Modellkosten je Lauf und Ergebnisse, die geprüft werden müssen. Die Bibliothek steht unter MIT-Lizenz.

Ein Beispiel

Ein Einkauf beobachtet die Preisseiten von hundert Zulieferern. Die Seiten sind alle anders aufgebaut, deshalb wird einmal beschrieben, was gebraucht wird, etwa Artikelbezeichnung, Preis, Mindestabnahme und Lieferzeit. Die Bibliothek findet diese Angaben auf jeder Seite selbst, und am Ende steht eine einheitliche Tabelle statt hundert unterschiedlicher Ausgaben.

Scrapy und Playwright: die klassische Grundlage

Beide sind keine KI-Werkzeuge und wollen es auch nicht sein. Scrapy ist seit Jahren das Standard-Framework für große, selbst gebaute Crawler in Python, mit Middleware für Proxys, Warteschlangen und Datenpipelines. Playwright, von Microsoft gepflegt, steuert echte Browser und ist die übliche Wahl, wenn Inhalte erst durch JavaScript entstehen. In vielen der neueren Werkzeuge tauchen beide als Unterbau wieder auf. Wer volle Kontrolle über Wiederholungen, Fehlerbehandlung und Datenhaltung braucht, kommt an dieser Ebene weiterhin nicht vorbei.

Ein Beispiel

Ein Onlinehändler prüft jede Nacht die Preise von zwanzigtausend Artikeln bei fünf Wettbewerbern. Der eigene Crawler wiederholt fehlgeschlagene Abrufe selbst und schreibt Artikelnummer, Preis und Verfügbarkeit in die eigene Datenbank. Am Morgen liegt der Preisvergleich bereit.

KI oder klassischer Web Scraper

KI-native Werkzeuge haben klare Stärken. Sie erkennen Felder ohne Selektoren, kommen mit einem unbekannten Seitenlayout zurecht und lassen sich in natürlicher Sprache steuern. Wenn Sie eine einzelne Seite vor sich haben und das Ergebnis heute brauchen, ist das der schnellste Weg.

Bei wiederkehrenden Aufgaben verschieben sich die Gewichte. Modellbasierte Extraktion kostet pro Seite, und bei mehreren tausend Einträgen summiert sich das. Die Ergebnisse müssen geprüft werden, weil Felder verwechselt oder ausgelassen werden können. Eine Trefferliste mit fünfzig Einträgen kann als Datei mit siebenundvierzig ankommen, ohne dass etwas darauf hinweist. Sie fallen außerdem nicht zwangsläufig zweimal identisch aus, was den Vergleich über mehrere Monate erschwert. Und für eine nachvollziehbare Herkunft je Datensatz, also Quell-URL und Erfassungszeitpunkt, sind rein generative Ansätze selten ausgelegt.

Dass es sich bei dieser Entwicklung nicht um eine Randerscheinung handelt, zeigen die bereits genannten Zahlen auf GitHub. Firecrawl kommt auf 169k Sterne, Crawl4AI auf 78,5k, während Scrapy, jahrelang der Standard, bei 63,9k steht. Auch die Anbindung an Agenten hat sich vereinheitlicht. Apify, Firecrawl und Octoparse stellen jeweils einen MCP-Server bereit, über den ein Assistent eine Aufgabe direkt auslösen kann. MCP ist damit 2026 zur gemeinsamen Schnittstelle dieser Kategorie geworden.

Die entscheidende Frage lautet deshalb nicht, ob KI im Spiel ist, sondern an welcher Stelle sie arbeitet.

Beide Wege schließen sich nicht aus, und die Kombination ist häufig die praktischste Lösung. Eine strukturierte Vorlage liefert die Felder reproduzierbar und mit Herkunftsangabe. Die KI übernimmt danach das Zusammenfassen, Einordnen und Auswerten. Über MCP genügt dafür natürliche Sprache. Sie sagen dem Assistenten, welche Branche und welche Stadt Sie brauchen, und erhalten Firmendaten, die bereits gesammelt, um Dubletten bereinigt und nach Regionen ausgewertet sind.

Als Faustregel

Einmalig und einzeln spricht für ein KI-natives Werkzeug. Wiederkehrend und vergleichbar spricht für eine strukturierte Vorlage. Wer beides braucht, trennt die Extraktion von der Auswertung. Ob ein Assistent allein ausreicht, haben wir im Beitrag zu KI-Assistenten wie ChatGPT beim Scrapen genauer untersucht.

Vom Export zum Ablauf. Wer den Lauf startet

Ein einmaliger Export ist selten das Ziel. Meistens sollen dieselben Daten regelmäßig kommen und danach irgendwo landen, im CRM, in einer Tabelle oder in einer Auswertung. Damit verschiebt sich die Frage. Es geht nicht mehr darum, ob ein Werkzeug exportieren kann, sondern darum, wer den Lauf auslöst. Dafür gibt es drei Wege, und sie schließen einander nicht aus.

Zeitgesteuert. Ein Lauf wird einmal eingerichtet und läuft danach in der Cloud, täglich, wöchentlich oder monatlich, ohne dass ein Rechner eingeschaltet sein muss. Die Ergebnisse lassen sich per API abholen oder direkt an Google Sheets und weitere Systeme übergeben.

Programmgesteuert. Über die Kommandozeile startet ein Skript, ein Cron-Job oder ein anderes Programm eine bereits angelegte Aufgabe. Das ist der Weg, wenn die Erhebung Teil eines größeren Ablaufs ist, etwa wenn zuerst Daten geholt und daraus anschließend ein Bericht erzeugt werden soll.

Im Dialog. Über MCP kann ein Assistent wie Claude, ChatGPT oder Cursor eine vorhandene Cloud-Vorlage auslösen. Sie schreiben in normaler Sprache, welche Branche und welche Stadt Sie brauchen. Der Assistent wählt aus den vorhandenen Vorlagen die passende aus und startet sie. Zurück kommen die Firmendaten, bereits um Dubletten bereinigt und nach Regionen ausgewertet.

Wie weit diese Wege tragen, hängt am Ende daran, was es für Ihre Zielseite überhaupt zu starten gibt. Apify setzt auf Masse. Über 61.000 Aktoren decken sehr viel ab, ein großer Teil stammt aus der Community, und wie aktuell ein einzelner Aktor ist, entscheidet dessen Autor. Octoparse setzt auf eine kleinere, zentral gepflegte Bibliothek mit über 600 Vorlagen und einheitlicher Feldstruktur. Bright Data bringt fertige Scraper für die großen internationalen Plattformen mit und spielt seine Stärke vor allem bei sehr hohem Volumen aus. Für Amazon oder Google Maps werden Sie überall fündig. Bei einem deutschsprachigen Branchenverzeichnis entscheidet, wer es überhaupt gepflegt hat.

Anti-Bot-Schutz. Was in der Praxis passiert

Der häufigste Grund, warum eine Erhebung nicht funktioniert, ist nicht das Werkzeug, sondern die Gegenseite. Sie starten einen Lauf und bekommen statt Daten leere Spalten zurück. Oder eine Seite mit einer Sicherheitsabfrage. Oder der Lauf bricht nach zwanzig Seiten ab, obwohl die ersten zwanzig sauber durchgelaufen sind.

Wie gut ein Werkzeug damit umgeht, ist deshalb ein eigenes Auswahlkriterium. Plattformen mit eigener Infrastruktur bringen IP-Rotation und den Umgang mit Sicherheitsabfragen bereits mit. Bei Bibliotheken und Browser-Erweiterungen kümmern Sie sich selbst darum, also um Proxys, um Wartezeiten und darum, wie oft dieselbe Adresse eine Seite aufruft. Welche Werkzeuge dafür einen eigenen Proxy-Zugang mitbringen, haben wir in der Übersicht zu Web Scraping mit IP-Proxy zusammengestellt.

Eine Grenze bleibt trotzdem, und sie verläuft quer durch alle Kategorien. Portale mit stark ausgebautem Schutz, wie er etwa über Cloudflare oder Akamai eingerichtet wird, lassen sich über eine visuelle Klickoberfläche nicht in jedem Fall auslesen. Das gilt für No-Code-Werkzeuge allgemein. Wo genau die Grenze verläuft, hängt vom einzelnen Portal ab und ändert sich mit dessen Konfiguration.

In der Praxis hilft ein Punkt mehr als jede Technik. Wer in normalem Tempo erhebt, wird deutlich seltener ausgesperrt als wer in kurzer Zeit tausende Aufrufe schickt. Viele Seiten hinterlegen in ihrer robots.txt außerdem, welche Bereiche sie für automatische Zugriffe vorsehen. Technisch ist das nur ein Hinweis, rechtlich kann es jedoch Bedeutung haben. Dazu mehr im nächsten Abschnitt.

Rechtliches. Zwei Fragen, die oft vermischt werden

Wer wissen möchte, ob Scraping erlaubt ist, bekommt meist eine vage Antwort. Das liegt daran, dass zwei getrennte Fragen zusammenfallen. Die eine betrifft die Inhalte einer Seite, die andere betrifft personenbezogene Daten. Beide werden nach unterschiedlichen Regeln beantwortet.

Für die Inhalte gilt in Deutschland § 44b UrhG zum Text und Data Mining. Erlaubt sind danach Vervielfältigungen von rechtmäßig zugänglichen Werken für die automatisierte Analyse. Diese Erlaubnis entfällt, wenn der Rechteinhaber sich die Nutzung vorbehalten hat. Für online zugängliche Werke gilt dabei eine wichtige Einschränkung. Ein solcher Vorbehalt ist nur wirksam, wenn er in maschinenlesbarer Form vorliegt. Damit wird die robots.txt aus dem vorigen Abschnitt zu mehr als einer technischen Höflichkeit.

Die zweite Frage betrifft personenbezogene Daten. Die DSGVO definiert diese in Art. 4 als alle Informationen, die sich auf eine identifizierte oder identifizierbare natürliche Person beziehen. Praktisch heißt das, dass Branche, Anschrift und Öffnungszeiten eines Unternehmens anders zu bewerten sind als der Name einer Ansprechpartnerin, ihre Funktion oder eine personalisierte E-Mail-Adresse. Wo die Grenze im Einzelfall verläuft, hängt davon ab, ob sich daraus eine Person identifizieren lässt.

Sobald personenbezogene Daten dabei sind und Sie diese nicht bei der Person selbst erhoben haben, greift Art. 14 DSGVO. Sie müssen die betroffene Person informieren, in der Regel innerhalb eines Monats oder spätestens bei der ersten Kontaktaufnahme. Zu den Pflichtangaben gehört ausdrücklich, aus welcher Quelle die Daten stammen.

Daraus folgt eine sehr praktische Anforderung an das Werkzeug. Werden zu jedem Datensatz die Quell-URL und der Erfassungszeitpunkt mitgeschrieben, lässt sich diese Auskunft später ohne Rekonstruktion geben. Fehlt die Angabe, ist Monate danach oft nicht mehr feststellbar, woher ein einzelner Eintrag stammt.

Dieser Abschnitt ersetzt keine Rechtsberatung. Eine ausführlichere Darstellung finden Sie im Beitrag zur Rechtslage in Deutschland.

Web Scraper oder Web Crawler

Die beiden Begriffe werden oft gleichbedeutend verwendet, meinen aber unterschiedliche Aufgaben. Ein Crawler verschafft sich einen Überblick. Er folgt Links, sammelt Adressen und bildet ab, welche Seiten überhaupt vorhanden sind. Ein Scraper holt gezielt Inhalte heraus, also Preise, Firmennamen, Telefonnummern oder Öffnungszeiten, und legt sie in Spalten ab.

In der Praxis greifen beide ineinander. Zuerst werden die Adressen der Trefferseiten gesammelt, danach werden aus diesen Seiten die Felder gelesen. Wenn Sie vor allem wissen möchten, welche Seiten existieren, suchen Sie einen Crawler. Wenn Sie am Ende eine Tabelle brauchen, suchen Sie einen Scraper. Einen eigenen Vergleich der Werkzeuge für den ersten Fall finden Sie unter Web Crawler im Vergleich.

FAQ

Für meine Zielseite gibt es keine fertige Vorlage. Welche Gruppe kommt dann infrage?

Die erste Gruppe fällt damit meist weg, denn dort starten Sie etwas Vorhandenes. Bleiben die No-Code-Werkzeuge, in denen Sie die Felder selbst anklicken, und die Bibliotheken, wenn ohnehin jemand im Team programmiert. Prüfen Sie vorher, ob Ihre Seite technisch einer bereits abgedeckten ähnelt, etwa weil beide auf demselben Verzeichnissystem laufen.

Lassen sich zwei Werkzeuge kombinieren?

Ja, und häufig ist das die praktischste Lösung. Die eine Kombination trennt Extraktion und Auswertung, wie im Abschnitt zu KI und klassischen Scrapern beschrieben. Die andere verkettet zwei Erhebungen, etwa wenn die Website-Adressen aus einem Verzeichnis anschließend als Eingabe für die Suche nach Kontaktdaten dienen.

Was passiert, wenn die Zielseite umgebaut wird?

Das hängt davon ab, wo die KI arbeitet. Bei regelbasierter Extraktion bricht meist genau das verschobene Feld, die Spalte bleibt leer, und der Fehler ist sichtbar. Gepflegte Vorlagen werden vom Anbieter nachgezogen. Modellbasierte Werkzeuge kommen mit dem neuen Aufbau oft ohne Anpassung zurecht, dafür kann die Feldzuordnung zwischen zwei Läufen abweichen.

Wie teste ich vor der Entscheidung, ob ein Werkzeug passt?

Nehmen Sie eine kleine, echte Aufgabe, etwa zwanzig Seiten aus Ihrer Zielquelle, und lassen Sie dieselbe Aufgabe in zwei Kandidaten laufen. Vergleichen Sie danach nicht nur, ob Daten ankommen, sondern auch die Zeilenzahl, die Feldtrennung und ob ein zweiter Lauf dasselbe Ergebnis liefert. Die kostenlosen Kontingente in den Tabellen oben reichen dafür in der Regel aus.

Wie erkenne ich, ob ein Lauf vollständig war?

Vergleichen Sie die Trefferzahl, die die Seite selbst anzeigt, mit der Zeilenzahl in Ihrer Datei. Weichen beide ab, liegt das meist an einer Begrenzung der Seitenzahl, an nachladenden Inhalten oder an einer Sperre während des Laufs. Die Quell-URL je Zeile zeigt außerdem, welche Seiten tatsächlich erfasst wurden.

Darf ich gesammelte Kontakte für die Kaltakquise nutzen?

Das sind zwei getrennte Fragen. Die DSGVO regelt, ob Sie die Daten speichern und verarbeiten dürfen. Ob Sie jemanden auf einem bestimmten Weg ansprechen dürfen, regelt in Deutschland zusätzlich das UWG, und für Werbung per E-Mail gelten dort eigene Anforderungen. Beide Ebenen müssen erfüllt sein.

Was ist Web Scraping?

Web Scraping bezeichnet das automatisierte Auslesen von Inhalten einer Webseite und deren Ablage in strukturierter Form, meist als Tabelle. Sie legen einmal fest, welche Felder gebraucht werden, und lassen den Vorgang anschließend wiederholt ausführen.

Octoparse: Einfaches Web Scraping Tool für jeden

Kostenloser Download

Anmeldung

Konvertiere Website-Daten direkt in Excel, CSV, Google Sheets und Ihre Datenbank.

Scrape Daten einfach mit Auto-Dedektion, ganz ohne Coding.

Scraping-Vorlagen für beliebte Websites, um Daten mit wenigen Klicks zu erhalten.

Mit IP-Proxys und fortschrittlicher API wird nie blockiert.

Cloud-Dienst zur Planung von Datenabfragen zu jedem gewünschten Zeitpunkt.

Quellen

Angaben zu Funktionsumfang und kostenlosen Kontingenten nach den offiziellen Dokumentationen der jeweiligen Anbieter, Stand 08/2026. Sternzahlen nach den öffentlichen GitHub-Repositorien, Stand 08/2026. Bewertung nach Capterra Deutschland. Rechtliche Angaben nach § 44b UrhG sowie Art. 4 und Art. 14 DSGVO.