Wie ein Marktforscher im DACH-Raum mit Octoparse dezentrale Handwerksverbands-Websites automatisiert auswertet und eine vollständige Branchendatenbank aufbaut

Unternehmen: Ein unabhängiger Marktforscher bzw. Business-Development-Anwender im DACH-Raum, der regelmäßig öffentlich verfügbare Verbands- und Standortdaten für Marktanalysen, Partnerrecherche und regionale Branchenübersichten auswertet.

Branche: Marktforschung / Geschäftsentwicklung

Region: DACH-Raum

Use Case: Aufbau einer Handwerksverbands-Datenbank für Marktanalyse und Partneridentifikation

Wenn Branchenwissen auf hundert verschiedenen Websites verstreut liegt

Das deutsche Handwerk ist dezentral organisiert. Für jede Gewerke-Kategorie gibt es regionale Innungen, Landesverbände und übergeordnete Zentralorganisationen – und jede dieser Organisationen pflegt ihre Mitglieder- und Kontaktinformationen auf einer eigenen Website. Wer einen systematischen Überblick über eine Branche gewinnen möchte, steht vor einer Grundsatzfrage: Wie lassen sich Hunderte von Einzelseiten effizient auswerten?

Ein Nutzer aus dem DACH-Raum stand genau vor dieser Herausforderung. Für ein Marktanalyse- oder Partneridentifikationsprojekt benötigte er strukturierte Daten aus einer Vielzahl regionaler Handwerksverbände – darunter Elektroinnungen aus mehreren Bundesländern, Glaserverbände sowie Innungen aus dem Bereich Dach und Gebäudehülle. Die Informationen lagen vor, aber sie waren über Dutzende von Websites verteilt und in keiner einheitlichen Form abrufbar.

Die Herausforderung: Dezentrale Quellen, hoher manueller Aufwand

Vor dem Einsatz von Octoparse war die Informationsbeschaffung zeitintensiv und kaum skalierbar. Der Rechercheprozess verteilte sich auf zahlreiche regionale und überregionale Quellen: Elektroinnungen, Glaserverbände, Dach- und Gebäudehüllen-Organisationen sowie ergänzende Google-Maps-Einträge. Pro Quelle mussten mehrere Datentypen geprüft werden, darunter Organisationsname, Region, Adresse, Kontaktangaben, Mitgliedsinformationen, Ausbildungsangebote und geografische Präsenz.

Schon bei einigen Dutzend Websites entstand ein wiederkehrender manueller Aufwand; bei einer Ausweitung auf Hunderte Innungen war ein rein manueller Prozess nicht mehr realistisch.

Dabei stellten sich für jede Quelle dieselben Fragen erneut:

• Welche Organisationen sind in einer bestimmten Region aktiv?
• Welche Mitgliedsunternehmen oder Ansprechpartner sind gelistet?
• Welche Ausbildungs- und Qualifizierungsangebote werden kommuniziert?
• Wie lassen sich Adress- und Kontaktdaten einheitlich erfassen?
• Sind die Einträge auf Google Maps geografisch vollständig und aktuell?

Je mehr Verbände und Gewerke in die Analyse einbezogen werden sollten, desto deutlicher wurde: Eine manuelle Recherche über diese Breite war nicht praktikabel. Was fehlte, war ein systematischer Prozess zur Datenerfassung.

Die Lösung: Automatisierte Erfassung über benutzerdefinierte Aufgaben und Google Maps

Der Nutzer konfigurierte in Octoparse eine Reihe benutzerdefinierter Scraping-Aufgaben für die relevanten Verbandswebsites. Parallel dazu nutzte er den Google Maps Scraper (Listenseiten nach Schlüsselwort), um die geografische Abdeckung zu validieren und ergänzende Standortdaten zu gewinnen.

1. Benutzerdefinierte Aufgaben für Verbands-Websites

Für jede relevante Quelle – darunter regionale Elektroinnungen aus Bayern, Hessen und Nordrhein-Westfalen, nationale Dachverbände im Glaserhandwerk sowie übergeordnete Zentralorganisationen – wurde eine eigene Octoparse-Aufgabe eingerichtet. Die Aufgaben extrahieren strukturiert die verfügbaren Inhalte: Organisationsbezeichnungen, Mitglieds- und Kontaktinformationen, Ausbildungsangebote sowie weitere verbandsrelevante Daten.

Da die Websites inhaltlich und strukturell variieren, ermöglicht das benutzerdefinierte Setup eine flexible Anpassung an die jeweilige Seitenstruktur.

In der ersten Projektphase wurden über 30 benutzerdefinierte Octoparse-Aufgaben für unterschiedliche Verbands- und Innungswebsites eingerichtet. Daraus entstanden rund 6.000 strukturierte Datensätze mit Informationen zu Organisationen, Mitgliedsbetrieben, Ansprechpartnern, Adressen, Webseiten, Telefonnummern und Ausbildungsangeboten.

2. Google Maps Scraper zur geografischen Validierung

Ergänzend zu den Verbands-Websites wurde der Google Maps Scraper (Listenseiten nach Schlüsselwort) eingesetzt. Durch die Eingabe branchenspezifischer Suchbegriffe – etwa Gewerkebezeichnungen kombiniert mit Regionsnamen – lassen sich auf Google Maps gelistete Innungen und Verbände systematisch erfassen.

Die dabei gewonnenen Daten – Standortinformationen, Kategorisierungen, Aktivitätsstatus und Bewertungsanzahl – dienen weniger der Kontaktgewinnung als der Überprüfung: Ist eine Organisation geografisch präsent? Ist der Eintrag aktuell gepflegt? Gibt es Lücken in der regionalen Abdeckung?

Dieser zweistufige Ansatz – benutzerdefinierte Tasks für inhaltliche Tiefe, Google Maps für geografische Validierung – verschafft dem Nutzer eine doppelt abgesicherte Datenbasis.

https://www.octoparse.de/template/google-maps-scraper-listing-page-by-keyword

3. Automatisierte Aktualisierung per Cloud-Zeitplan

Die eingerichteten Aufgaben laufen nicht nur einmalig, sondern sind über die Cloud-Zeitplanfunktion von Octoparse zur regelmäßigen Ausführung konfiguriert. So wird sichergestellt, dass die Datenbank kontinuierlich aktuell bleibt, ohne dass manuell eingegriffen werden muss.

„Früher habe ich Stunden damit verbracht, einzelne Verbandsseiten aufzurufen und Daten manuell zu kopieren. Jetzt lasse ich die Aufgaben automatisch laufen und habe morgens eine fertige, strukturierte Tabelle – bereit für die weitere Analyse.”
— Nutzer, DACH-Raum

Was sich verändert hat

Aus einer manuellen Recherche über viele einzelne Websites wurde ein wiederholbarer Datenprozess. Der Nutzer kann heute mehrere Quellen parallel erfassen, die Ergebnisse in einer einheitlichen Tabelle auswerten und die Datenbank regelmäßig aktualisieren lassen.

Die wichtigsten Verbesserungen:

• Mehr Quellenabdeckung: Statt einzelne Verbandsseiten nacheinander zu prüfen, können mehrere regionale und überregionale Websites als eigene Octoparse-Aufgaben überwacht werden.
• Einheitlichere Datenstruktur: Unterschiedliche Website-Layouts werden in ein vergleichbares Tabellenformat überführt, das sich für Analyse, Segmentierung und Reporting eignet.
• Bessere geografische Validierung: Google Maps ergänzt die Verbandsdaten um Standortinformationen, Aktivitätsstatus und regionale Abdeckung.
• Regelmäßige Aktualisierung: Über Cloud-Zeitpläne muss die Datenbank nicht jedes Mal neu manuell aufgebaut werden.

Für den Nutzer bedeutet das: weniger wiederkehrende Copy-and-paste-Arbeit, mehr Zeit für Bewertung und Analyse und eine belastbarere Grundlage für Marktübersichten, Partnerlisten und branchenspezifische Reports.

Warum Octoparse

Strukturierte Daten aus heterogenen Quellen

Handwerksverbände und Innungen sind dezentral organisiert und pflegen ihre Informationen auf individuell gestalteten Websites. Mit benutzerdefinierten Octoparse-Aufgaben lassen sich diese unterschiedlichen Strukturen gezielt erfassen und in ein einheitliches Format überführen.

Geografische Absicherung über Google Maps

Der Google Maps Scraper ergänzt die inhaltliche Datenerfassung um eine räumliche Dimension: Standorte, Aktivitätsstatus und regionale Abdeckung lassen sich systematisch überprüfen und validieren.

Automatisierung ohne laufenden Wartungsaufwand

Einmal eingerichtete Aufgaben laufen über Cloud-Zeitpläne selbstständig weiter. Die Datenbank bleibt aktuell, ohne dass der Nutzer bei jeder Aktualisierung manuell eingreifen muss.

Fazit

Branchenrecherche im deutschen Handwerk bedeutet, mit einer Vielzahl dezentraler Quellen umzugehen. Wer diese Quellen einzeln und manuell auswertet, kommt schnell an Kapazitätsgrenzen – unabhängig davon, wie relevant die Daten sind.

Für diesen Nutzer ist Octoparse deshalb kein einmaliges Hilfsmittel, sondern ein fester Bestandteil des Rechercheprozesses: von der ersten Erfassung regionaler Innungsseiten über die geografische Prüfung per Google Maps bis zur regelmäßigen Aktualisierung einer strukturierten Handwerksverbands-Datenbank. Besonders wertvoll ist dabei nicht nur die Geschwindigkeit, sondern die Wiederholbarkeit: Neue Quellen können ergänzt, bestehende Aufgaben erneut ausgeführt und die Datenbasis Schritt für Schritt erweitert werden.