Montagmorgen, 8 Uhr: Die wöchentliche Preisliste ist leer. Am Freitag lief der Scraper noch einwandfrei, niemand hat etwas am Ablauf geändert. Geändert hat sich die Website. Ein neues Layout, ein zusätzlicher Cookie-Banner oder eine Cloudflare-Prüfung reichen aus, damit ein Web Scraper keine Daten mehr liefert, ohne eine einzige Fehlermeldung.
Die eigentliche Kostenstelle beim Web Scraping ist deshalb selten die erste Einrichtung, sondern die Wartung danach. Die folgende Übersicht hilft, das Symptom schnell einer Ursache zuzuordnen:
| Symptom | Wahrscheinliche Ursache | Erster Schritt |
|---|---|---|
| 0 Datensätze | Seitenstruktur geändert oder Zugriff blockiert | Seite manuell öffnen und vergleichen |
| Einzelne Felder leer | Klasse oder Container umbenannt | Felder neu auswählen |
| Nur Seite 1 erfasst | „Weiter”-Button verschoben oder Endlos-Scrollen | Paginierung und Wartezeit prüfen |
| Prüfseite statt Daten | Cloudflare oder CAPTCHA | Prüfung automatisch lösen lassen |
| Lokal ok, Cloud nicht | IP-Region, Ladezeit, Login abgelaufen | Cloud-Protokoll ansehen |
Dieser Beitrag setzt dort an, wo die Einrichtung aufhört. Wie sich Inhalte von Webseiten überhaupt erst auslesen lassen, zeigt unsere Anleitung Inhalte von Webseiten auslesen.
Die häufigsten Herausforderungen: Warum ein Web Scraper plötzlich keine Daten mehr liefert
Fast jeder Ausfall lässt sich auf eine Handvoll Ursachen zurückführen. Wer sie kennt, findet den Fehler meist in wenigen Minuten statt nach stundenlangem Suchen.
Die Seitenstruktur hat sich geändert
Ein Scraper merkt sich, wo die gewünschten Daten im HTML stehen, meist über CSS-Selektoren oder XPath. Benennt das Shop-Team eine Klasse um oder fügt einen zusätzlichen Container ein, zeigt dieser Pfad ins Leere. Tückisch daran: Optisch sieht die Seite oft unverändert aus, nur der Quelltext darunter ist ein anderer. Typisches Anzeichen sind leere Felder bei sonst normalem Lauf. Bei vorgefertigten Vorlagen übernimmt Octoparse diese Anpassung selbst, dazu unten mehr. Wie Sie den Pfad in einer eigenen Aufgabe korrigieren, zeigt die Anleitung zum Anpassen des Element-XPath.
Pop-ups und Cookie-Banner verdecken den Inhalt
Auf deutschen Websites ist der Consent-Banner Standard, dazu kommen Newsletter-Fenster, App-Hinweise und Werbe-Overlays. Ein Mensch klickt sie weg, ohne nachzudenken. Ein Scraper dagegen bleibt hängen, findet die Daten hinter dem Overlay nicht oder klickt auf das falsche Element. Kommt ein neues Pop-up hinzu, reicht das, um einen bisher stabilen Ablauf zu stoppen.
Inhalte werden per JavaScript nachgeladen
Viele Seiten liefern beim ersten Abruf nur ein Gerüst aus. Preise, Bewertungen oder weitere Treffer lädt der Browser erst danach per JavaScript nach, etwa beim Scrollen oder nach einem Klick. Ein einfacher HTTP-Abruf erhält dann eine fast leere Seite. Stellt eine Website ihre Liste von „Weiter”-Button auf Endlos-Scrollen um, bricht ein darauf eingestellter Scraper nach der ersten Seite ab. Hintergründe und Lösungswege finden Sie in unserem Beitrag zum Scraping von Webseiten mit JavaScript und in der Anleitung zum Umgang mit AJAX.
Anti-Bot-Prüfungen: Cloudflare und CAPTCHA
Schutzdienste wie Cloudflare bewerten jede Sitzung: IP-Adresse, Browser-Fingerabdruck, Anfragetempo, typische Automatisierungsspuren. Wirkt eine Sitzung verdächtig, erscheint statt der Zielseite eine Prüfseite oder ein CAPTCHA. Häufig tritt das erst in der Cloud auf, weil Rechenzentrums-IPs strenger geprüft werden als ein heimischer Anschluss. Warum gerade die IP-Adresse so oft der Auslöser ist, erklärt der Beitrag Warum wird meine IP-Adresse beim Scraping blockiert?
Login und abgelaufene Sitzungen
Daten hinter einer Anmeldung hängen an Cookies, die irgendwann ablaufen. Der Scraper landet dann auf der Login-Seite und erfasst nichts. Das passiert oft schleichend: Der Lauf wirkt erfolgreich, liefert aber leere Ergebnisse. Wie sich Daten hinter einer Anmeldung zuverlässig erfassen lassen, zeigt die Anleitung zum Scrapen von Daten hinter dem Login.
Code, Konfiguration oder No-Code: Wer repariert den Scraper, wenn sich die Website ändert?
Dass Websites sich ändern, lässt sich nicht verhindern. Entscheidend ist, wie viel Arbeit jede Änderung auslöst und wer sie erledigt. Hier unterscheiden sich die drei gängigen Wege deutlich.
| Ansatz | Bei einer Website-Änderung | Wer repariert |
|---|---|---|
| Eigener Code | Selektoren anpassen, testen, neu ausrollen | Das eigene Entwicklerteam |
| Konfigurationsbasiert | Regeldatei anpassen, kein neues Deployment | Wer die Regeln pflegt |
| No-Code mit Vorlagen | Vorlage: nichts tun. Eigene Aufgabe: Feld per Klick oder KI anpassen | Bei Vorlagen Octoparse, meist binnen 48 Stunden |
Eigener Code mit Python, Scrapy, Selenium oder Playwright bietet die meiste Kontrolle und passt zu Teams mit eigenen Entwicklern. Konfigurationsbasierte Ansätze sind in Entwicklerkreisen gerade ein viel diskutiertes Thema: Statt jeden Scraper als eigenes Programm auszuliefern, beschreibt eine Regeldatei, wie die Seite zu lesen ist, und eine gleichbleibende Laufzeitumgebung führt sie aus. Das senkt den Aufwand pro Änderung spürbar. Die Arbeit verschwindet aber nicht, sie verlagert sich: Irgendjemand muss die Regel weiterhin anpassen, wenn die Seite sich ändert.
Genau an dieser Stelle setzt die letzte Zeile der Tabelle an. Bei gepflegten Vorlagen trägt nicht der Nutzer die Wartung, sondern der Anbieter. Für eigene Aufgaben bleibt die Anpassung ein Klick im Editor statt ein Eingriff in den Code. Das macht No-Code-Tools vor allem für Fachabteilungen interessant, die Daten brauchen, aber keinen Code pflegen wollen.
Wie sich das im direkten Vergleich mit einer Python-Bibliothek anfühlt, zeigt unser Beitrag Die beste Alternative zu Beautiful Soup für Web Scraping.
HTML oder Schnittstelle: Warum Daten aus dem Netzwerk-Tab oft stabiler sind
Was Sie im Browser als Produktkarte sehen, entsteht bei modernen Websites oft in zwei Schritten: Zuerst holt der Browser im Hintergrund die eigentlichen Daten von einer internen Schnittstelle, meist als JSON. Danach baut er daraus die sichtbare Seite. Diese Hintergrundabrufe heißen XHR- oder Fetch-Anfragen.
Sichtbar werden sie in den Entwicklertools: F12 drücken, den Reiter „Netzwerk” öffnen, auf „Fetch/XHR” filtern und die Seite neu laden. Unter den Einträgen findet sich häufig eine Antwort, in der Titel, Preise und IDs bereits sauber strukturiert stehen.
Für die Wartung hat das einen klaren Vorteil: Ein neues Design, verschobene Buttons oder umbenannte CSS-Klassen berühren diese Daten meist nicht. Solange das Datenformat gleich bleibt, läuft die Erfassung weiter. Zudem entfällt das Zerlegen von Seitentext, weil die Felder bereits getrennt vorliegen.
Allerdings hat der Weg über die Schnittstelle eigene Grenzen. Laut Octoparse-Dokumentation können solche APIs „undokumentiert, authentifizierungspflichtig oder ratenbegrenzt sein und sich unangekündigt ändern”. Manche Anfragen brauchen zusätzliche Parameter aus dem Request-Header. Stabiler heißt also nicht wartungsfrei, nur seltener betroffen.
Wartungsarm scrapen mit Octoparse
Octoparse setzt bei genau den Ursachen an, die oben am häufigsten zu Ausfällen führen. Die folgenden Funktionen lassen sich ohne Programmierkenntnisse einrichten.
Werbe-Pop-ups blockieren, Cookie-Banner automatisch erkennen
Für Werbe-Overlays gibt es im Schritt „Zur Webseite” unter „Optionen” die Einstellung „Pop-Up-Fenster blockieren”. Gängige Cookie-Banner erkennt und behandelt der Aufgabeneditor seit Version 10.2 selbst. Für alle übrigen Hinweisfenster genügt ein zusätzlicher Klick-Schritt, der bei jedem Lauf zuverlässig ausgeführt wird:
- Pop-up-Blocker aktivieren: Im Ablauf den Schritt „Zur Webseite” anklicken, unter „Optionen” das Häkchen bei „Pop-Up-Fenster blockieren” setzen und mit „Übernehmen” bestätigen.
- Übrige Fenster schließen: Wird ein Banner nicht automatisch erkannt, im Browser-Modus auf „Akzeptieren” oder „Schließen” klicken und im Tipps-Fenster das Klicken des Elements als Schritt übernehmen. Der Schritt wird Teil des Ablaufs.
- Kurz prüfen: Das Blockieren von Werbung kann die Struktur mancher Seiten verändern. Einmal testweise laufen lassen und bei Bedarf die betroffenen Felder neu auswählen.
Cloudflare und CAPTCHA: Prüfungen vermeiden und automatisch lösen
Bei Cloudflare und CAPTCHAs lohnt sich zuerst eine andere Frage als „Wie komme ich daran vorbei?”: Wie vermeiden Sie Prüfungen, und wie werden die verbleibenden automatisch gelöst? Ein realistischer Browser, ein gleichmäßiges Tempo und IP-Rotation verhindern viele Prüfungen von vornherein.
Für die übrigen Fälle gibt es in den Aufgabeneinstellungen unter „Anti-Blockierung” die Option „Cloudflare mit Guthaben lösen”. Octoparse verarbeitet Cloudflare-Prüfungen dann automatisch, beim Einrichten wie beim Ausführen der Aufgabe. Laut Octoparse-Hilfecenter liegt die Erfolgsquote bei rund 80 %.
Wichtig für die Kalkulation: Die Funktion ist kostenpflichtig und wird über ein separates Add-on-Guthaben abgerechnet, nicht über den Tarif. Berechnet werden 1,5 $ pro 1.000 Anfragen, und jeder Lösungsversuch zählt, auch ein erfolgloser (Stand 10/2026). Das aktuelle Guthaben steht direkt neben der Option. Für klassische CAPTCHAs gibt es zusätzlich ein eigenes Add-on zur CAPTCHA-Lösung.
Eine technische Lösung ersetzt dabei nicht die rechtliche Prüfung. Erfassen Sie nur öffentlich zugängliche Daten, beachten Sie AGB und robots.txt der Zielseite und gehen Sie bei personenbezogenen Daten nach der DSGVO vor. Inhalte hinter einem Login oder mit ausdrücklichem Scraping-Verbot sollten Sie nicht ohne vorherige Prüfung abrufen. Einen Überblick über DSGVO, Urheberrecht und AGB gibt unser Beitrag Ist Web Scraping in Deutschland legal?
Welche Wege es gegen Cloudflare-Prüfungen im Einzelnen gibt, zeigt unser Beitrag Cloudflare-CAPTCHA beim Web Scraping umgehen. Wie CAPTCHAs überhaupt ausgelöst werden und wie Sie sie lösen, erklärt der Beitrag CAPTCHAs beim Web Scraping umgehen und lösen.
Daten direkt aus der Schnittstelle abgreifen
Den stabileren Weg über die Schnittstelle müssen Sie nicht programmieren. Laut Octoparse-Dokumentation zeigt der integrierte Browser dieselben Netzwerkanfragen wie die Entwicklertools, und eine API-Antwort lässt sich dort wie ein Seitenelement auswählen. Die Aufgabe ruft dann direkt diesen Endpunkt ab, statt die ganze Seite zu laden.
Alternativ funktioniert der Weg über einen JSON-Link:
- Anfrage finden: In den Entwicklertools unter „Netzwerk” die Anfrage suchen, deren Antwort die gewünschten Daten enthält, und ihre URL kopieren.
- Aufgabe anlegen: Neue benutzerdefinierte Aufgabe erstellen und die URL einfügen. Mehrere Seiten lassen sich erfassen, indem Sie den Seitenparameter wie
page=1bispage=10automatisch hochzählen lassen. - JSON aktivieren: Im Schritt „Zur Webseite” unter „Generell” das Häkchen bei „JSON” setzen und übernehmen. Der Schritt heißt danach „JSON öffnen”, und Octoparse zeigt die Antwort in der Ansicht „Baum” als aufklappbare Struktur.
- Felder auswählen: Den gewünschten Wert anklicken und im Tipps-Fenster unter „Daten extrahieren” auf „Datenelement” klicken. Octoparse erkennt gleichartige Einträge selbst und legt automatisch ein „Schleifenelement” an, im Beispiel für alle zehn Stellenanzeigen der Seite.
Liefert die Schnittstelle Fehler oder leere Antworten, liegt das meist an einem Anfragelimit oder fehlenden Angaben im Request. Erhöhen Sie zuerst die Wartezeit zwischen den Abrufen und übernehmen Sie bei Bedarf die Request-Header aus den Entwicklertools über die Schaltfläche „Überschriften” im Schritt „JSON öffnen”.
Felder per KI anpassen: Feldreparatur
Ändert sich bei einer eigenen Aufgabe die Seitenstruktur, mussten Felder bisher einzeln neu ausgewählt oder XPath-Ausdrücke von Hand angepasst werden. Seit Version 10.2 gibt es dafür die Feldreparatur: einen KI-Assistenten in der Datenvorschau, dem Sie in normaler Sprache sagen, was sich ändern soll.
Typische Aufträge sind etwa: mehrere Felder auf neue XPath-Ausdrücke umstellen, Felder hinzufügen oder entfernen, das Währungszeichen aus dem Preis entfernen oder alle Datumsangaben einheitlich formatieren. Die KI zeigt ihren Vorschlag zuerst in der Vorschau, übernommen wird er erst nach Ihrer Bestätigung.
- Feldreparatur öffnen: In der Datenvorschau oben auf „Feldreparatur” klicken.
- Änderung beschreiben: zum Beispiel „Benenne das Feld title in Stellenbezeichnung um” oder „Entferne das Euro-Zeichen aus dem Feld Preis und behalte nur die Zahl”.
- Änderungsplan prüfen: Die KI zeigt einen Kandidaten mit aktuellem Wert und Kandidatenwert und prüft ihn vorab („Validiert”).
- Bestätigen oder nachschärfen: Mit „Ersetzung bestätigen” übernehmen, oder über „Nein, Anweisung eingeben” die Anweisung präzisieren.
Welches Element auf der geänderten Seite das richtige ist, bestimmen Sie dabei weiterhin selbst, per Klick oder durch Angabe des XPath. Die Feldreparatur nimmt Ihnen das gebündelte Umsetzen und das Bereinigen der Daten ab, nicht die Kontrolle.
Vorlagen/Templates: Die Wartung übernimmt Octoparse
Für viele große Plattformen müssen Sie gar keinen eigenen Ablauf bauen. Octoparse bietet über 600 vorgefertigte Vorlagen. Sie geben nur Suchbegriff oder URL ein, die Felder sind bereits definiert. Ändert eine Plattform ihr Layout und eine Vorlage liefert keine Daten mehr, behebt das Octoparse-Team den Fehler in der Regel innerhalb von 48 Stunden. Selektoren, XPath oder Code fassen Sie dabei nicht an. Welche Plattformen bereits abgedeckt sind, sehen Sie in der Übersicht aller Vorlagen.
Ein B2B-Vertriebsunternehmen aus Japan erstellt seit über vier Jahren jeden Tag Vertriebslisten aus Google Maps. Der automatisierte Ablauf erfasst Firmenname, Kategorie, Telefonnummer und Adresse, derzeit rund 15 Millionen Datensätze pro Monat, und verteilt die Listen jeden Morgen an das Vertriebsteam. Seit der Einführung schließt das Team pro Monat etwa 30 Aufträge mehr ab.
Benachrichtigung, bevor jemand die leere Tabelle bemerkt
Der teuerste Ausfall ist der, den niemand bemerkt. Cloud-Aufgaben in Octoparse laufen nach festem Zeitplan, täglich, wöchentlich oder in eigenen Intervallen. Dazu kommen Warnungen zur Cloud-Aufgabenüberwachung: Sie legen fest, bei welcher Kennzahl und ab welchem Schwellenwert Octoparse Alarm schlägt. Sinkt die extrahierte Datenmenge etwa auf 0 oder unter einen gewohnten Wert, erhalten Sie sofort eine Nachricht, nicht erst, wenn jemand die leere Tabelle öffnet.
Als Metrik stehen unter anderem die extrahierte Datenmenge, die Dauer der Aufgabe, eine geschlossene Aufgabe, automatische CAPTCHA-Lösungsversuche und verwendete Kredite zur Auswahl. Gerade die letzten beiden sind nützlich, wenn Sie die kostenpflichtige Cloudflare- oder CAPTCHA-Lösung einsetzen: Steigt die Zahl der Lösungsversuche plötzlich an, hat die Website ihren Schutz vermutlich verschärft, und Sie sehen es, bevor das Kreditbudget aufgebraucht ist.
- Warnung anlegen: Aufgabe öffnen, in den Aufgabeneinstellungen eine neue Warnung zur Cloud-Aufgabenüberwachung erstellen und einen Namen vergeben.
- Metrik und Bedingung wählen: zum Beispiel „Extrahierte Datenmenge” mit der Bedingung „kleiner als” und dem Wert 1, damit jeder Lauf ohne Daten auffällt.
- Benachrichtigungsweg festlegen: E-Mail, Slack-Benachrichtigung oder Inbox-Meldung in Octoparse, auch mehrere gleichzeitig.
- Aktivieren: Status einschalten und speichern.
- Zeitplan festlegen: Cloud-Ausführung mit gewünschtem Intervall einrichten. Cloud-Extraktion und Zeitplanung sind ab dem Standard-Plan enthalten.
Ein unabhängiger Veranstaltungs-Publisher aus den USA erfasst wöchentlich automatisch die Programme von rund 70 Konzert- und Theaterhäusern. Titel, Termine, Ticketpreise und Bild-URLs landen direkt in Google Sheets, und zwar nur neu hinzugekommene Veranstaltungen, damit keine Dubletten entstehen. Die Zahl aktiver Einträge stieg so von etwa 450 auf über 4.500, ohne zusätzliches Redaktionspersonal.
Konvertiere Website-Daten direkt in Excel, CSV, Google Sheets und Ihre Datenbank.
Scrape Daten einfach mit Auto-Dedektion, ganz ohne Coding.
Scraping-Vorlagen für beliebte Websites, um Daten mit wenigen Klicks zu erhalten.
Mit IP-Proxys und fortschrittlicher API wird nie blockiert.
Cloud-Dienst zur Planung von Datenabfragen zu jedem gewünschten Zeitpunkt.
Wann sich eigener Code trotzdem lohnt
Ein No-Code-Tool ist nicht für jedes Projekt die beste Wahl. Eigener Code spielt seine Stärken aus, wenn:
- Daten nahezu in Echtzeit gebraucht werden: etwa Abrufe im Sekundentakt für Handelssysteme.
- Die Erfassung tief in eigene Systeme eingebettet ist: wenn Scraping nur ein Baustein einer größeren Anwendung ist, die ohnehin ein Entwicklerteam betreut.
- Volle Kontrolle über jede Anfrage nötig ist: eigene Header, Sitzungslogik oder ungewöhnliche Protokolle.
- Ein Team bereits Scraping-Spezialisten beschäftigt: dann ist Wartung kein Engpass, sondern Routine.
Auch dann muss es kein Entweder-oder sein. Viele Teams überlassen Standardquellen wie Google Maps oder große Marktplätze einer gepflegten Vorlage und holen die Ergebnisse über die Octoparse-API in die eigene Pipeline. Die Entwickler kümmern sich nur noch um die Quellen, für die es wirklich eigenen Code braucht. Wer den eigenen Weg gehen will, findet den Einstieg in unserer Anleitung, wie Sie einen eigenen Web Crawler bauen.
Fazit
Ob ein Scraper zur Dauerbaustelle wird, hängt weniger vom ersten Aufbau ab als von zwei Fragen: Wie oft brauchen Sie die Daten, und wer repariert den Ablauf, wenn sich die Website ändert? Wer einmalig eine Liste braucht, kommt mit fast jedem Werkzeug ans Ziel. Wer jede Woche dieselben Daten braucht, sollte die Wartung von Anfang an einplanen: mit Vorlagen, die jemand anderes pflegt, mit Pop-up- und Cloudflare-Behandlung im Ablauf und mit einer Benachrichtigung, die den Ausfall meldet, bevor er Folgen hat.
Dann ist die Preisliste am Montagmorgen einfach da, und falls nicht, liegt die Nachricht darüber schon im Posteingang.
FAQ
Wie geht Octoparse mit Cloudflare-Prüfungen um?
Viele Cloudflare-Prüfungen lassen sich automatisch lösen. Octoparse bietet dafür in den Aufgabeneinstellungen die kostenpflichtige Option „Cloudflare mit Guthaben lösen” (1,5 $ pro 1.000 Anfragen, Stand 10/2026), laut Hilfecenter mit einer Erfolgsquote von rund 80 %. Ob eine Erfassung zulässig ist, hängt aber nicht von der Technik ab, sondern von den Daten und den Nutzungsbedingungen der Website. Öffentliche Daten und eine geprüfte Rechtsgrundlage sind die Voraussetzung.
Ist es legal, CAPTCHAs beim Scraping automatisch zu lösen?
Das hängt vom Einzelfall ab. Ein CAPTCHA signalisiert, dass die Website automatisierte Zugriffe einschränken möchte. Rechtlich relevant sind vor allem die Art der Daten (personenbezogen oder nicht), die AGB der Website und ob Inhalte hinter einem Login liegen. Bei öffentlich zugänglichen Sachdaten ist die Lage meist unkritischer als bei personenbezogenen Daten. Diese Antwort ersetzt keine Rechtsberatung. Mehr dazu in unserem Beitrag zur Rechtslage in Deutschland.
Woran erkenne ich, dass mein Scraper nicht mehr richtig funktioniert?
Die deutlichsten Signale sind ein plötzlicher Einbruch der Datensätze, leere Felder bei sonst normalem Lauf und Ergebnisse, die nur noch aus der ersten Seite bestehen. Am zuverlässigsten ist eine automatische Warnung mit Schwellenwert. In Octoparse legen Sie dafür eine Warnung zur Cloud-Aufgabenüberwachung an, etwa für eine extrahierte Datenmenge unter einem bestimmten Wert, und lassen sich per E-Mail oder Slack benachrichtigen.
Muss ich programmieren können, um einen Scraper nach einem Website-Update zu reparieren?
Bei eigenem Code ja. Bei einem No-Code-Tool nicht: In einer selbst erstellten Octoparse-Aufgabe öffnen Sie den Editor, klicken das betroffene Feld an und wählen das Element auf der aktuellen Seite neu aus. Mehrere Felder auf einmal lassen sich über die Feldreparatur in normaler Sprache anpassen. Bei vorgefertigten Vorlagen übernimmt Octoparse die Anpassung selbst.
Wie oft muss ein Web Scraper gewartet werden?
Eine feste Zahl gibt es nicht. Große Shops und Plattformen ändern ihre Seiten häufiger als kleine Firmenwebsites, und Tests mit neuen Layouts können auch nur einen Teil der Besucher betreffen. Planen Sie deshalb nicht nach Kalender, sondern nach Signal: Eine Benachrichtigung bei auffällig wenigen Datensätzen zeigt Ihnen, wann Wartung tatsächlich nötig ist.
