“Octoparse hat nicht nur beim Data Scraping hervorragende Arbeit geleistet, sondern auch beim Verständnis unserer Projekte und der Bedürfnisse des Zentrums. Die online gesammelten Daten wären ohne eine professionelle Datenaufbereitung und das Verständnis von Octoparse für den gesamten Projektzweck nutzlos gewesen.”
— Jinho Jung, Forschungsmitarbeiter, Center for Food Demand Analysis and Sustainability, Purdue University
Über den Kunden aus dem Lebensmittelmarkt
Das Center for Food Demand Analysis and Sustainability (CFDAS) ist ein Forschungszentrum innerhalb des College of Agriculture der Purdue University. Seine Mission ist es, den Datenfluss zwischen Verbrauchern und dem Lebensmittelmarkt zu verbessern. Durch gezielte Datenaufbereitung hilft es Verbrauchern, fundiertere Ernährungsentscheidungen zu treffen, und ermöglicht es Agrarunternehmen, politischen Entscheidungsträgern und Landwirten, das Lebensmittelsystem zu optimieren.
Die Herausforderung: Große Datenmengen bewältigen
Das CFDAS musste täglich Daten zu bis zu 2,3 Millionen Lebensmittelprodukten von 20 Online-Supermarktketten sammeln. Dies erforderte schnellere Server, größere Datenspeicher und Echtzeit-Datenübertragungen in großem Maßstab. Das Zentrum benötigte zudem eine effiziente Datenaggregation, um alle gesammelten Daten in einem interaktiven Dashboard zusammenzuführen, damit die Zielgruppen die Lebensmittelpreise täglich nach Regionen und Produktkategorien überwachen können.
Manuelle Prozesse oder fehleranfällige, benutzerdefinierte Scraper waren angesichts dieser Datenmenge keine realistische Option. Das CFDAS benötigten eine zuverlässige, skalierbare Lösung, die den Anforderungen an ihr Forschungsdatenmanagement gewachsen war.
Die Lösung für digitale Datenerfassung
Das CFDAS ging eine Partnerschaft mit Octoparse ein, um seinen täglichen Bedarf an Web Scraping und Datenaufbereitung zu decken. Octoparse scrapt nun jeden Tag Daten von 20 Online-Supermarktketten in 5 Produktkategorien und aus etwa 342 Postleitzahlengebieten – und aggregiert so täglich bis zu 2,3 Millionen Produkte. Die Datenbank des Zentrums ist direkt mit dem Datenspeicher von Octoparse verbunden, was eine verzögerungsfreie Datenübertragung in Echtzeit ermöglicht.
Warum Octoparse für die Datenerfassung?
Schnellere Server und größerer Speicher für große Datenmengen
Um täglich Daten zu über 2,3 Millionen Produkten zuverlässig zu verarbeiten, war eine Infrastruktur gefragt, die mit dem Datenvolumen mitwächst, statt bei Lastspitzen ins Stocken zu geraten. Octoparse stellte dafür leistungsstärkere Server und großzügigere Speicherkapazitäten bereit, sodass auch parallele Scraping-Vorgänge über alle 20 Supermarktketten hinweg ohne Verzögerung liefen. Das Ergebnis: stabile, tagesaktuelle Datenflüsse, ohne dass das Zentrum eigene Server-Infrastruktur aufbauen oder warten musste.
Detaillierte und gut strukturierte Datenaggregation
Octoparse entwickelte ein maßgeschneidertes Scraping-Programm, das für jedes der über 2 Millionen Produkte detaillierte Attribute erfasst – darunter Artikelbezeichnung, Kategorie, Preis und geografische Zuordnung. Die Rohdaten werden anschließend bereinigt und in ein einheitliches Format überführt, sodass sie direkt in das Dashboard des Zentrums einfließen können und aussagekräftige Preisvergleiche über Regionen und Ketten hinweg ermöglichen. Mit den so aufbereiteten Daten unterstützt das Dashboard des Zentrums Produzenten, Agrarunternehmen und politische Entscheidungsträger dabei, fundierte Entscheidungen zur Verbesserung des Lebensmittelsystems zu treffen, und liefert zugleich eine verlässliche Grundlage für die Forschung zu Ernährung und Pflanzeninnovationen.
Effizienteres alltägliches Forschungsdatenmanagement
Die Lösung zur digitalen Datenerfassung von Octoparse zur digitalen Datenerfassung verknüpft seinen Datenspeicher direkt mit dem System des Zentrums, sodass die gescrapten Daten jeden Tag automatisch übertragen werden. Dadurch entfällt der manuelle Im- und Export von Dateien vollständig, und das Forschungsteam kann sich auf die Analyse konzentrieren, statt Zeit mit Datenpflege zu verbringen. Das Ergebnis ist ein durchgehend aktueller Datenbestand, der jederzeit für Auswertungen bereitsteht.
Ausblick in die Zukunft
Das CFDAS stellt Agrarunternehmen, Landwirten und politischen Entscheidungsträgern nun zeitnahe, zugängliche Daten und Einblicke in Lebensmittelpreise, Lebensmittelproduktion und -versorgung, Verbraucherausgaben und Verbraucherpräferenzen zur Verfügung. Durch die Nutzung von skalierbarem Web Scraping und professioneller Datenaufbereitung baut das Zentrum eine Datengrundlage auf, die täglich mit dem Markt mitwächst – und damit ein Lebensmittelsystem unterstützt, das für alle besser funktioniert
