Sie brauchen nicht einzelne Felder von einer Seite, sondern eine vollständige Liste aller Unterseiten einer Domain. Genau dafür ist ein Webcrawler da, und genau daran scheitern viele Werkzeuge, die als Crawler angeboten werden. Dieser Überblick zeigt acht Website Crawler, was sie im kostenlosen Rahmen wirklich leisten und ab welchem Punkt Sie zahlen.
Webcrawler oder Web Scraper: der Unterschied in einem Satz
Ein Webcrawler folgt Links und sammelt Adressen. Ein Web Scraper öffnet eine Adresse und holt daraus einzelne Felder wie Preis, Titel oder Telefonnummer. In der Praxis brauchen Sie oft beides. Erst den Crawler für die vollständige URL-Liste, dann den Scraper für die Inhalte.
Welcher Web Crawler passt zu Ihrem Fall
Sie wollen nichts installieren. Einige Anbieter laufen vollständig im Browser oder als API. Sie geben eine Startadresse ein und erhalten die Liste der gefundenen Unterseiten als Download.
Sie crawlen regelmäßig dieselbe Domain. Dann brauchen Sie Zeitpläne und eine Ausführung in der Cloud, damit der Rechner nicht laufen muss.
Sie crawlen sehr große Domains. Ab einigen tausend Unterseiten entscheidet nicht die Oberfläche, sondern das Limit des kostenlosen Kontingents.
Sie wollen selbst programmieren. Dann sind Bibliotheken die passendere Grundlage als ein fertiges Werkzeug.
Die 8 Website Crawler im Überblick
| Werkzeug | Ohne Installation | Kostenloses Kontingent | Passt zu |
|---|---|---|---|
| Octoparse | Cloud-Ausführung, Desktop für den Aufbau | kostenlose Version | wiederkehrende Läufe nach Zeitplan |
| SiteOne Crawler | nein, ein Programm ohne weitere Abhängigkeiten | ohne feste Mengenbegrenzung | vollständige URL-Listen und Sitemaps |
| Screaming Frog | nein, Windows, macOS und Linux | 500 URLs | einmalige Bestandsaufnahme kleiner Domains |
| Crawlbase | ja, reine API | bis zu 20.000 Anfragen | eigene Pipelines und Skripte |
| Website Crawler | ja, läuft im Browser | 10 Seiten | ein schneller erster Blick ohne Konto |
| ScraperAPI | ja, reine API | nur Testphase, danach kostenpflichtig | Abrufe mit Anti-Bot-Schutz |
| Sitebulb | Desktop und Cloud | nur Testphase | sehr große Domains mit Auswertung |
| Diffbot Crawl | ja, reine API | keine kostenlose Stufe | Crawling zusammen mit Extraktion |
Kostenlos nutzbar
1. Octoparse: der Lauf, der auch ohne Ihren Rechner stattfindet
Die Stärke liegt nicht im einmaligen Crawl, sondern in der Wiederholung. Sie bauen den Ablauf einmal über die Oberfläche auf und legen fest, wie tief Links verfolgt werden. Danach übernimmt ein Zeitplan die Ausführung in der Cloud, auch wenn Ihr Rechner ausgeschaltet ist. Für gängige Zielseiten stehen über 600 fertige Vorlagen bereit, sodass der Aufbau oft entfällt.
Damit unterscheidet sich Octoparse von den Werkzeugen weiter unten, die eine Domain einmal durchlaufen und danach auf den nächsten manuellen Start warten. Wenn Sie eine Liste monatlich neu erheben und mit dem Vorlauf vergleichen wollen, ist das der Punkt, an dem sich der Unterschied bemerkbar macht.
Kostenlose Version verfügbar. Programm für Windows und macOS, Ausführung lokal oder in der Cloud.
2. SiteOne Crawler: kostenlos ohne feste Mengengrenze
Das einzige Werkzeug in dieser Übersicht, das kostenlos ist und trotzdem keine vom Anbieter gesetzte Obergrenze an Unterseiten hat. Die Grenze legen Sie selbst fest. Es ist ein einzelnes Programm ohne weitere Abhängigkeiten und lässt sich wahlweise über eine Oberfläche oder über die Kommandozeile bedienen, letztere mit rund 200 Schaltern.
Der eigentliche Unterschied liegt in der Ausgabe. Neben der URL-Liste und einer Sitemap gibt SiteOne über die Kommandozeile eine ganze Domain als Markdown aus, auf Wunsch zusammengefasst in einer einzigen Datei. Wenn die Daten am Ende in eine Wissensbasis für ein Sprachmodell wandern sollen, sparen Sie sich damit den Zwischenschritt, HTML erst in sauberen Text zurückzuverwandeln.
Kostenlos. Programm für Windows, macOS und Linux.
3. Screaming Frog: der Standard auf dem Schreibtisch, mit einer klaren Grenze
Das am weitesten verbreitete Programm dieser Art, und dasjenige mit der am klarsten gezogenen kostenlosen Grenze. Die freie Version crawlt 500 Adressen pro Lauf. Für eine kleine Domain reicht das für eine vollständige Bestandsaufnahme, für einen Shop mit mehreren tausend Artikeln nicht.
Innerhalb dieser Grenze bekommen Sie viel. Der Crawler rendert JavaScript über eine eingebaute Chromium-Umgebung, erreicht also auch Seiten, die ihre Inhalte erst im Browser aufbauen. Über eigene Regeln mit CSS-Pfad, XPath oder regulären Ausdrücken lassen sich zusätzlich einzelne Felder aus dem Quelltext mitnehmen.
Wo Screaming Frog bei 500 Adressen endet, läuft SiteOne weiter. Wo SiteOne nur ausgibt, kann Screaming Frog beim Durchlauf gezielt Felder mitschneiden. Die beiden ergänzen sich eher, als dass sie konkurrieren.
Kostenlose Version mit 500 Adressen. Programm für Windows, macOS und Linux.
4. Crawlbase: die Abrechnung, die nur erfolgreiche Abrufe zählt
Der Anbieter rechnet ausdrücklich nur erfolgreiche Anfragen ab. Bei Zielseiten mit starkem Schutz ist das ein spürbarer Unterschied, weil fehlgeschlagene Versuche dort einen erheblichen Anteil ausmachen können.
Crawlbase ist eine reine Schnittstelle, es gibt nichts zu installieren. Sie binden die Abrufe in ein eigenes Skript oder eine bestehende Datenpipeline ein. Crawling, Proxy und Speicherung laufen dabei über dasselbe Guthaben, Sie müssen also nicht mehrere Kontingente nebeneinander verwalten.
Damit richtet sich Crawlbase an ein anderes Publikum als die drei Werkzeuge davor. Dort bedienen Sie eine Oberfläche, hier schreibt jemand ein paar Zeilen Code.
Bis zu 20.000 Anfragen kostenlos, ohne Hinterlegung einer Karte.
5. Website Crawler: der schnelle Blick, ohne Konto und ohne Installation
Zehn Seiten kostenlos, dafür sofort und ohne Anmeldung. Sie geben eine Adresse ein und sehen im Browser, wie die Domain aufgebaut ist. Die Ergebnisse lassen sich als CSV, JSON oder Markdown herunterladen.
Zehn Seiten sind keine Bestandsaufnahme, und der Anbieter behauptet das auch nicht. Der Wert liegt woanders. Bevor Sie ein Programm installieren oder ein Kontingent verbrauchen, klären Sie in einer Minute, ob die Zielseite überhaupt so aufgebaut ist, wie Sie annehmen. Für diesen einen Zweck ist es das schnellste Werkzeug in dieser Übersicht.
Kostenlos bis zu 10 Seiten, ohne Hinterlegung einer Karte. Läuft vollständig im Browser.
Nur Testphase
6. ScraperAPI: für Zielseiten, die sich wehren
Hier zahlen Sie nicht für das Crawlen selbst, sondern dafür, überhaupt durchzukommen. Der Dienst ist auf Zielseiten ausgelegt, die automatisierte Zugriffe aktiv erschweren, und bringt Proxy-Verwaltung sowie regionale Zuordnung der Abrufe mit.
Wichtig für die Einordnung in dieser Übersicht. ScraperAPI hat keine dauerhaft kostenlose Stufe, sondern eine Testphase von sieben Tagen mit 5.000 Abrufen, für die keine Karte hinterlegt werden muss. Danach ist der Dienst kostenpflichtig.
Der Unterschied zu Crawlbase liegt weniger in der Funktion als in der Abrechnung. Crawlbase startet ohne feste monatliche Bindung und zählt nur erfolgreiche Abrufe, ScraperAPI arbeitet mit monatlichen Kontingenten.
7. Sitebulb: gebaut für Domains, bei denen die anderen aufgeben
Der Anbieter nennt für die Desktop-Variante bis zu 500.000 Adressen pro Durchlauf und für die Cloud-Variante bis zu 10 Millionen. Das ist die andere Seite der Skala, verglichen mit den 500 Adressen der freien Screaming-Frog-Version und den 10 Seiten von Website Crawler.
Diese Größenordnung hat ihren Preis, und zwar auch im wörtlichen Sinn. Eine dauerhaft kostenlose Stufe gibt es nicht, nur eine Testphase. Für einen einmaligen Bedarf lohnt sich das selten. Wenn Sie regelmäßig sehr große Domains vollständig erfassen müssen und die Auswertung im Team geteilt werden soll, ist es die naheliegende Wahl.
Kostenpflichtig
8. Diffbot Crawl: Crawlen und Auslesen in einem Durchgang
Der einzige Anbieter hier, bei dem beide Schritte zusammenfallen. Der Crawler folgt den Links einer Startadresse und übergibt jede gefundene Adresse direkt an eine Extraktion, die den Seitentyp erkennt und die Inhalte strukturiert zurückgibt. Am Ende steht nicht eine URL-Liste, sondern ein durchsuchbarer Datenbestand.
Das erspart den Übergang zwischen zwei Werkzeugen, den die übrigen Einträge in dieser Übersicht voraussetzen. Dafür gibt es keine kostenlose Stufe. Der Zugang zur Crawl-Schnittstelle beginnt laut Anbieter erst ab der Plus-Stufe.
Wenn Sie in einigen Listen lesen, Diffbot sei ein kostenloser Web Crawler, ist das nicht mehr aktuell.
Webcrawler herunterladen und lokal starten
Octoparse läuft als Programm für Windows und macOS. Sie bauen den Ablauf einmal über die Oberfläche auf, legen fest, wie tief die Links verfolgt werden, und starten den Lauf lokal oder in der Cloud. Für wiederkehrende Läufe übernimmt der Zeitplan die Ausführung, auch wenn der Rechner aus ist.
Konvertiere Website-Daten direkt in Excel, CSV, Google Sheets und Ihre Datenbank.
Scrape Daten einfach mit Auto-Dedektion, ganz ohne Coding.
Scraping-Vorlagen für beliebte Websites, um Daten mit wenigen Klicks zu erhalten.
Mit IP-Proxys und fortschrittlicher API wird nie blockiert.
Cloud-Dienst zur Planung von Datenabfragen zu jedem gewünschten Zeitpunkt.
Kein Code nötig, um zu starten. Und kein Hindernis, wenn Sie doch programmieren wollen. Probieren Sie jetzt 14-Tage kostenlos Octoparse aus!
Wofür ein Webcrawler in der Praxis eingesetzt wird
Marktbeobachtung: eine Zahl statt eines Eindrucks
Wer das braucht: Marktforschung, Produktmanagement und alle, die einen Markt beobachten sollen, ohne ihn zu schätzen.
Eine Startseite verrät nicht, wie breit ein Anbieter wirklich aufgestellt ist. Ob ein Wettbewerber 400 oder 4.000 Produktseiten führt, wie viele Standortseiten dazugekommen sind, ob eine neue Kategorie still eingeführt wurde, all das steht nirgends zusammengefasst. Ein Webcrawler folgt den Links einer Domain und gibt jede erreichbare Adresse zurück. Sie zählen danach, statt zu schätzen.
Der eigentliche Wert entsteht bei der Wiederholung. Wer denselben Lauf monatlich ausführt und die Listen vergleicht, sieht Veränderungen, bevor sie in einer Pressemitteilung stehen.
Preise und Produktdaten über tausende Unterseiten
Wer das braucht: E-Commerce- und Pricing-Teams, die gegen Wettbewerber antreten, deren Preise sich täglich ändern.
Ein Shop mit mehreren tausend Artikeln lässt sich nicht seitenweise auswerten. In der Praxis sind es zwei Schritte. Zuerst sammelt der Crawler die Adressen aller Artikelseiten, danach liest ein Scraper aus diesen Adressen die Felder aus, also Preis, Verfügbarkeit und Artikelnummer. Wer den ersten Schritt überspringt und direkt mit einer Handvoll bekannter URLs startet, übersieht genau die Artikel, die neu hinzugekommen sind.
Firmendaten aus dem Impressum
Wer das braucht: Vertrieb und Marketing im B2B, die eine Zielliste aufbauen, statt Adressen einzukaufen.
Deutsche Unternehmensseiten sind hier ein Sonderfall, und zwar zugunsten der Datenqualität. Nach § 5 des Digitale-Dienste-Gesetzes müssen geschäftsmäßige Anbieter bestimmte Angaben ständig verfügbar halten. Dazu gehören Name und Anschrift, die Rechtsform, der Vertretungsberechtigte, eine Adresse für die elektronische Post, das Register mit Registernummer, sofern eine Eintragung besteht, und, sofern vorhanden, die Umsatzsteuer-Identifikationsnummer. Das Gesetz verlangt außerdem, dass diese Angaben leicht erkennbar und unmittelbar erreichbar sind.
Anders gesagt. Der Gesetzgeber schreibt vor, dass genau die Felder öffentlich stehen, die im B2B-Vertrieb gebraucht werden.
Das Problem in der Praxis. Jede Seite sieht anders aus. Eine feste Regel, die auf allen Impressum-Seiten dieselben Einzelfelder trifft, gibt es nicht, weil keine zwei Unternehmen ihre Angaben gleich anordnen. Zuverlässig funktioniert deshalb ein anderer Weg. Sie greifen nicht auf einzelne Elemente zu, sondern auf den gesamten Textinhalt der Seite, und trennen die Felder anschließend über Muster heraus.
Für zwei Felder ist das besonders verlässlich. Die Umsatzsteuer-Identifikationsnummer hat in Deutschland immer dieselbe Form, nämlich DE gefolgt von neun Ziffern. Eine E-Mail-Adresse erkennt man ebenfalls an ihrer Form, unabhängig davon, wo auf der Seite sie steht. Postleitzahl und Ort folgen dem Muster aus fünf Ziffern und einem Ortsnamen.
Wir haben das für diesen Artikel an achtzehn Impressum-Seiten deutscher Unternehmen getestet. Ein Durchlauf dauerte drei Minuten und siebzehn Sekunden. Zehn Seiten lieferten verwertbare Angaben, bei den übrigen blieb ein Teil der Felder leer, weil die Inhalte erst nachträglich im Browser aufgebaut werden. Eine Seite lieferte statt des Impressums nur eine Wartemeldung des Bot-Schutzes. Das ist kein Fehler des Werkzeugs, sondern die Antwort der Zielseite.
Was dabei zu beachten ist: Ein Impressum enthält in aller Regel auch personenbezogene Daten, etwa den Namen der Geschäftsführung. Damit greift die Informationspflicht nach Art. 14 DSGVO, also die Pflicht bei Daten, die nicht bei der betroffenen Person erhoben wurden. Zwei Punkte daraus sind in der Praxis entscheidend. Erstens müssen Sie angeben, aus welcher Quelle die Daten stammen. Zweitens gilt eine Frist von längstens einem Monat, und wenn Sie die Daten zur Kontaktaufnahme nutzen, spätestens zum Zeitpunkt der ersten Mitteilung.
Für den Aufbau der Liste heißt das konkret. Führen Sie zu jedem Datensatz die Quell-URL und das Datum der Erhebung mit. Ein Crawler, der diese beiden Felder von Anfang an mitschreibt, erspart Ihnen die Rekonstruktion im Nachhinein. Am einfachsten wird es, wenn Sie personenbezogene Felder gar nicht erst erheben. Für reine Unternehmensangaben entsteht kein Personenbezug, und die Frage nach Art. 14 stellt sich nicht.
Wenn Sie nicht einzelne Unternehmensseiten abarbeiten, sondern ein ganzes Branchenverzeichnis auswerten wollen, gelten andere Regeln. Welche Werkzeuge dafür infrage kommen, steht in unserem Vergleich der Werkzeuge für Gelbe Seiten.
Inhalte als Kontext für Sprachmodelle
Wer das braucht: Entwickler und Teams, die einen internen Assistenten auf eigene oder öffentliche Inhalte aufsetzen.
HTML ist für Menschen gebaut. Navigation, Werbung und Skripte kosten Kontext, ohne Information zu liefern. Deshalb hat sich ein eigenes Format etabliert. Der Vorschlag für eine Datei unter /llms.txt stammt von Jeremy Howard, liegt seit August 2026 in Version 2 vor und wird inzwischen breit verwendet. Chrome prüft in Lighthouse darauf, und OpenAI, Anthropic und Gemini veröffentlichen solche Dateien für ihre eigenen Entwicklerdokumentationen.
Für Sie ist der praktische Punkt ein anderer. Einige Crawler geben eine Domain direkt als Markdown aus, SiteOne Crawler zum Beispiel über die Kommandozeile. Für Werkzeuge, die den gesamten Inhalt in einem Zug verarbeiten sollen, lässt sich alles in eine einzige Datei zusammenfassen.
Was Sie crawlen dürfen und woran Sie es erkennen
Beim Crawlen wird jede besuchte Seite vorübergehend kopiert. Damit ist nicht das Datenschutzrecht der erste Ansprechpartner, sondern das Urheberrecht. Maßgeblich ist § 44b UrhG zum Text und Data Mining. Drei Punkte daraus sind in der Praxis entscheidend.
Rechtmäßig zugänglich. Erlaubt sind Vervielfältigungen von Werken, die rechtmäßig zugänglich sind. Was hinter einer Anmeldung oder einer Bezahlschranke liegt, fällt nicht darunter.
Der Vorbehalt muss maschinenlesbar sein. Ein Rechtsinhaber kann die Nutzung ausschließen. Bei online zugänglichen Werken ist ein solcher Vorbehalt aber nur wirksam, wenn er in maschinenlesbarer Form erklärt wird. In der Praxis ist das die robots.txt der Domain. Lesen Sie diese Datei vor dem ersten Lauf, und stellen Sie Ihren Crawler so ein, dass er sie beachtet.
Kopien sind zu löschen. Die Vervielfältigungen sind zu löschen, sobald sie für die Analyse nicht mehr erforderlich sind. Wer den vollständigen HTML-Bestand einer fremden Domain dauerhaft aufbewahrt, bewegt sich außerhalb dieser Erlaubnis.
Ein Vorbehalt nach § 44b muss maschinenlesbar sein, damit er greift. Das heißt aber nicht, dass ein Satz in den Nutzungsbedingungen bedeutungslos wäre. Datenbanken können zusätzlich als Sammelwerk nach § 4 UrhG und über das Recht des Datenbankherstellers nach § 87a ff. UrhG geschützt sein. Diese Rechte hängen nicht von der maschinenlesbaren Form ab. Lesen Sie deshalb beides. Die robots.txt und die Angaben des Anbieters zur Nutzung seiner Daten.
Sobald personenbezogene Daten im Spiel sind, etwa Namen aus einem Impressum, kommt zusätzlich die DSGVO ins Spiel. Die praktischen Folgen dafür stehen weiter oben im Abschnitt zu den Firmendaten.
Was bei Firmenverzeichnissen zu beachten ist
Für diesen Artikel haben wir mehrere deutsche Firmenverzeichnisse geprüft. Das Ergebnis war in den meisten Fällen dasselbe. Ein Anbieter sperrt Ergebnis- und Detailseiten bereits in der robots.txt. Ein anderer erlaubt den Zugriff dort, untersagt aber im Impressum ausdrücklich die automatisierte Auslesung und beruft sich dabei auf den Schutz seiner Datenbank.
Daraus folgt eine praktische Regel. Prüfen Sie beides, und zwar bevor Sie den ersten Lauf starten. Die robots.txt allein reicht nicht, weil der Schutz einer Datenbank nicht an die maschinenlesbare Form gebunden ist.
Die Impressum-Seiten der Unternehmen selbst sind davon nicht betroffen. Dort veröffentlicht jedes Unternehmen seine eigenen Pflichtangaben, und es gibt keinen Datenbankhersteller, der daran Rechte hält.
FAQ
Was ist der Unterschied zwischen einem Webcrawler und einem Web Scraper?
Der Crawler findet Adressen, der Scraper liest Inhalte aus. Für die meisten Vorhaben brauchen Sie beides nacheinander, zuerst die vollständige URL-Liste, dann die Felder. Welche Werkzeuge für den zweiten Schritt infrage kommen, steht in unserem Blog Web Scraper im Vergleich.
Welcher Web crawler läuft ohne Installation?
Reine API-Dienste und browserbasierte Anbieter kommen ohne Installation aus. In der Übersicht oben ist das in einer eigenen Spalte vermerkt. Wenn Sie nur einmal kurz prüfen wollen, wie eine Domain aufgebaut ist, ist das der schnellste Weg.
Wie viele Unterseiten schaffe ich in den kostenlosen Stufen?
Das geht weit auseinander, von wenigen Seiten bis zu Läufen ohne feste Mengenbegrenzung. Die Werte stehen in der Übersicht oben, Stand 08/2026. Prüfen Sie sie vor dem Start beim Anbieter nach, weil kostenlose Stufen häufig angepasst werden.
Darf ich eine fremde Website crawlen?
Für rechtmäßig zugängliche Seiten erlaubt § 44b UrhG die Vervielfältigung zum Zweck der Analyse, solange der Rechtsinhaber sich die Nutzung nicht in maschinenlesbarer Form vorbehalten hat. Prüfen Sie also die robots.txt der Domain und zusätzlich die Angaben des Anbieters. Kommen personenbezogene Daten hinzu, gilt außerdem die DSGVO.
Wie oft sollte ich denselben Crawl wiederholen?
Das hängt davon ab, wie schnell sich die Zielseite ändert. Bei Preisen kann das täglich sinnvoll sein, bei einem Firmenverzeichnis reicht meist ein monatlicher Lauf. Entscheidend ist, dass Sie die Ergebnisse zweier Läufe vergleichen können, denn der Unterschied zwischen den Listen ist die eigentliche Information.
Brauche ich Programmierkenntnisse?
Für die Werkzeuge mit Oberfläche nicht. Sie geben eine Startadresse ein und legen fest, wie tief verfolgt werden soll. Für die reinen API-Dienste brauchen Sie jemanden, der die Abrufe einbindet. Wenn Sie den Crawler selbst schreiben wollen, sind Bibliotheken die passendere Grundlage. Wie ein solcher Aufbau Schritt für Schritt aussieht, zeigt unsere Anleitung dazu, wie man einen Webcrawler selbst baut.
Quellen
- Digitale-Dienste-Gesetz, § 5, gesetze-im-internet.de
- Urheberrechtsgesetz, § 44b, gesetze-im-internet.de
- Datenschutz-Grundverordnung, Art. 14, dsgvo-gesetz.de
- Die Angaben zu den kostenlosen Stufen stammen von den Seiten der jeweiligen Anbieter, Stand 08/2026.
