undefined
Blog > Web Scraping > Post

Inhalt von Webseiten auslesen

Tuesday, September 27, 2022

Web Scraping ist eine Technik, um automatisch Daten auf der Website auszulesen. Die wird in vielen Branchen weit verbreitet. Zum Beispiel können freiberufliche Autoren Online-Artikel für die Themenrecherche extrahieren. Unternehmen können Daten aus Webseiten extrahieren, um Geschäftsanalysen durchzuführen. Hier sind einige Tipps, die erklärt, wie man Inhalte von Webseiten scrapen kann.

 

✽ Wie erhält man Inhalte von Webseiten

Für Programmierer oder Entwickler ist die Verwendung von Python die gängigste Methode, um einen Web Crawler zum Scraping der Webinhalten zu erstellen. Der Code im Screenshot unten kann zum Beispiel verwendet werden, um Daten von einer öffentlichen Website - lerneprogrammieren.de/ - zu scrapen.

 

WebScraping mit Python

(Bild von https://lerneprogrammieren.de/beautiful-soup-tutorial/)

 

Für die meisten Menschen, die keine Programmierkenntnisse haben, wäre es besser, Web-Scraping-Tools zu verwenden, um Inhalte von Webseiten zu erhalten. Im Folgenden nehmen wir die Verwendung von Octoparse als Beispiel:

 

1. Extrahieren Inhalten aus der dynamischen Webseite

Webseiten können dynamisch sein. Manchmal aktualisieren die Webinhalte oft, die Sie extrahieren möchten. Manche Websites verwenden die AJAX-Technik, die der Webseite ermöglicht, Daten zu senden und zu empfangen, ohne die ganze Webseite erneut zu laden. In diesem Fall können Sie die Option AJAX aktivieren, damit Octoparse Inhalte aus solchen Webseiten einfach extrahieren kann.

 

AJAX Einstellung

Überprüfen die AJAX-Wartezeit-Einstellung in Octoparse

 

2. Extrahieren Inhalten, die auf der Webseite verborgen sind

Haben Sie solche Probleme getroffen, dass Sie bestimmte Daten von einer Website abrufen, aber der Inhalt wird erst angezeigt, wenn Sie einen Link auslösen oder den Mauszeiger darüber bewegen? Zum Beispiel werden einige Produktsinformationen auf AliExpress angezeigt, dann Sie klicken darauf und wählen Sie „Hover on the selected element“ auf der Aktion-Tips aus.

 

AliExpress Als Beispiel

 

3. Extrahieren Inhalten aus der Webseite mit unendlichem Scrollen

Manchmal werden Nachrichten erst hochgeladen, wenn Sie zum unteren Ende der Webseite scrollen, wie z. B. bei Twitter. Es liegt daran, dass die Websites die Technik „unendliches Scrollen“ verwenden. Das geht in der Regel mit AJAX oder JavaScript einher, damit die Anfragen erst dann erfolgen, wenn Sie das Ende der Webseite erreicht haben. In diesem Fall können Sie die AJAX-Wartezeit einstellen, "Scroll Area" und "Repeats" auswählen, um zu regeln, wie der Roboter den Inhalt extrahieren soll.

 

die Option "Scroll Page" in Octoparse

die Option "Scroll Page" in Octoparse

 

4. Extrahieren Hyperlinks aus der Webseite

Wenn Sie alle Links von einer Webseite extrahieren möchten, können Sie Octoparse verwenden, um alle URLs der gesamten Website zu extrahieren.

 

Hyperlinks

 

5. Extrahieren Text aus der Webseite

Wenn Sie den Inhalt zwischen HTML-Tags wie dem <p>-Tag oder <SPAN>-Tag extrahieren möchten. Mit Octoparse können Sie den gesamten Text aus dem Quellcode extrahieren.

 

6. Extrahieren URL der Bilder aus der Webseite

Octoparse kann Bilder nicht direkt herunterladen, aber die URL des Bildes kann man mit Octoparse herunterladen..

 

Bild URL

 

✽ Fazit

Octoparse kann alles extrahieren, was auf der Webseite angezeigt wird, und in strukturierte Formate wie Excel, CSV, HTML, TXT und Datenbanken exportieren. Allerdings ist Octoparse derzeit nicht in der Lage, Bilder, Videos, Gif und Canvas herunterzuladen. Wir erwarten, dass diese Funktionen in naher Zukunft in die aktualisierte Version aufgenommen werden.

Wenn Sie für Octoparse und Web Scraping interessieren, können Sie zuerst es mal mit 14 Tagen gratis versuchen.

 

Hier bekommen Sie die Angebote:

Website:https://www.octoparse.de/

Herunterladen: https://www.octoparse.de/download/windows

14-Tage gratis:https://www.octoparse.de/subscribe/trial?plan=std

Tutorials:https://www.octoparse.de/tutorial

 

Wenn Sie Probleme bei der Datenextraktion haben, oder uns etwas Vorschlägen geben möchten, kontaktieren Sie bitte uns per E-Mail (support@octoparse.com).

 

 

 

Autor*in: Das Octoparse Team

Laden Sie Octoparse herunter, um mit Web-Scraping zu beginnen, oder kontaktieren Sie uns
für die Fragen über Web Scraping!

Kontaktieren Sie uns Herunterladen
Diese Website verwendet Cookies um Ihnen ein besseres Internet-Erlebnis zu ermöglichen. Lesen Sie wie wir Cookies verwenden und Sie können sie kontrollieren, indem Sie auf Cookie-Einstellungen klicken. Wenn Sie die Website weiter nutzen, akzeptieren Sie unsere Verwendung von Cookies.
Akzeptieren Ablehnen