Wie extrahiert man Daten aus Twitter ohne Kodierung

In diesem Tutorial zeige ich Ihnen, wie Sie Twitter-Daten in 3 Minuten scrapen können, ohne die Twitter-API, Tweepy oder Python zu verwenden und keine einzige Zeile Code zu schreiben.

Um Daten aus Twitter zu extrahieren, können Sie ein automatisiertes Web-Scraping-Tool verwenden - Octoparse. Octoparse simuliert die menschliche Interaktion mit einer Webseite, und ermöglicht Ihnen, alle Informationen auf einer beliebigen Website zu extrahieren, wie z. B. Twitter. So können Sie beispielsweise ganz einfach Tweets eines Benutzers, Tweets, die bestimmte Hashtags enthalten oder innerhalb eines bestimmten Zeitraums gepostet wurden, usw. extrahieren. Sie brauchen nur die URL Ihrer Zielwebseite zu erfassen und die in den in Octoparse integrierten Browser einzufügen. Mit ein paar Mausklicks können Sie einen Crawler von Grund auf selbst erstellen. Wenn die Extraktion abgeschlossen ist, können Sie die Daten in Excel-Tabellen, CSV, HTML oder SQL exportieren oder sie über die Octoparse-APIs in Echtzeit in Ihre Datenbank exportieren. 

Fallstudie lesen: Scrape Twitter discussions for sentiment analysis

Inhaltsübersicht

• Schritt 1: Geben Sie die URL ein und erstellen Sie das Umblättern
• Schritt 2: Erstellen Sie ein „Loop Item“, um die Daten zu extrahieren.
• Schritt 3: Ändern Sie die Paginierungseinstellung und führen Sie den Crawler aus

Bevor wir loslegen, können Sie  hier klicken, um Octoparse auf Ihrem Computer zu installieren. Schauen wir uns jetzt an, wie man einen Twitter-Crawler innerhalb von 3 Minuten erstellt.

Schritt 1: Geben Sie die URL ein und erstellen Sie das Umblättern

Relative Artikel: Umblättern mit endlosem Scrollen

Nehmen wir an, dass wir versuchen, alle Tweets eines bestimmten Benutzers zu crawlen. In diesem Fall scrapen wir den offiziellen Twitter-Account von Octoparse. Sie können beobachten, dass die Website im integrierten Browser geladen wird. Normalerweise haben viele Websites eine Schaltfläche „Nächste Seite“. Octoparse kann auf die Schaltfläche klicken, um weitere Inhalte zu erhalten. In diesem Fall wendet Twitter jedoch die Technik namens „unendliches Scrollen“ an. Wegen der Technik müssen Sie zuerst die Seite nach unten scrollen, damit Twitter ein paar weitere Tweets laden kann, und dann die auf dem Bildschirm angezeigten Daten extrahieren. Der endgültige Extraktionsprozess läuft also folgendermaßen ab: Octoparse scrollt die Seite ein wenig herunter, extrahiert die Tweets, scrollt ein wenig herunter, extrahiert, und so weiter und so fort.

Um den Bot die Seite wiederholt nach unten scrollen zu lassen, können wir das Umblättern erstellen, indem wir auf den leeren Bereich klicken und „loop click single element“ im Tipps-Panel anklicken. Dann wird im Workflow-Bereich eine Paginierungsschleife angezeigt, was bedeutet, dass wir erfolgreich das Umblättern eingestellt haben.

Schritt 2: Erstellen Sie „Loop Item“, um die Daten zu extrahieren

Relative Artikel: Was ist ein Loop Item?

Jetzt wollen wir Tweets extrahieren. Angenommen, wir möchten die folgenden Informationen extrahieren möchten: der Name, die Veröffentlichungszeit, der Textinhalt, die Anzahl der Kommentare, Retweets und Likes. 

Zunächst erstellen wir eine Extraktionsschleife, um die Tweets abzurufen. Wir können mit dem Cursor auf die Ecke des ersten Tweets klicken. Wenn der gesamte Tweet grün hervorgehoben wird, bedeutet dies, dass der ausgewählt ist. Wiederholen Sie diesen Vorgang für den zweiten Tweet. Octoparse hat automatisch alle folgenden Tweets ausgewählt. Klicken Sie auf „extract text of the selected elements“ und eine Extraktionsschleife wird in den Workflow eingebaut.

Da wir verschiedene Datenfelder in separate Spalten extrahieren wollen, müssen wir die Extraktionseinstellungen ändern, und die Zieldaten manuell auszuwählen. Dies ist sehr einfach. Finden Sie unter „action setting“ den Schritt „extract data“. Klicken Sie auf den Namen des Benutzers und dann auf „extract the text of the selected element“. Wiederholen Sie diese Aktion, um alle gewünschten Datenfelder zu wählen. Wenn Sie fertig sind, löschen Sie die erste Spalte, die wir nicht brauchen, und speichern Sie den Crawler.  

Schritt 3: Ändern Sie die Einstellung des Umblätterns und führen Sie den Crawler aus

Wir haben bereits eine Paginierungsschleife erstellt, aber wir müssen noch eine kleine Änderung an der Workflow-Einstellung vornehmen. Da wir wollen, dass Twitter den Inhalt vollständig lädt, bevor der Bot ihn extrahiert, stellen wir eine AJAX-Wartezeit auf 5 Sekunden ein, damit Twitter nach jedem Scrollen 5 Sekunden Zeit zum Laden hat. Dann legen wir sowohl die Scroll-Wiederholungen als auch die Wartezeit auf 2 fest, um sicherzustellen, dass Twitter den Inhalt erfolgreich lädt. Jetzt wird Octoparse jedesmal 2 Bildschirme nach unten scrollen, und jeder Bildschirm wird 2 Sekunden dauern.

Gehen Sie zurück zu den Einstellungen für „Loop Item“ und ändern Sie „loop time“ auf 20. Dies bedeutet, dass der Bot das Scrollen 20 Mal wiederholt. Sie können den Crawler nun auf Ihrem lokalen Gerät ausführen, um die Daten zu erhalten, oder ihn auf den Octoparse-Cloud-Servern ausführen, damit Sie Ihre Aufgaben planen und Ihre lokalen Ressourcen sparen können. Beachten Sie, dass die leeren Zellen in den Spalten bedeuten, dass es keine Originaldaten auf der Seite gibt, also nichts extrahiert wird.

Wenn Sie Fragen zum Scraping von Twitter oder anderen Websites haben, schreiben Sie uns eine E-Mail an  lena@octoparse.com. Wir sind immer bereit zu helfen!

Autor: Milly