Twitter (X) ist eine der beliebten Plattformen auf die ganze Welt. Jeden Tag verwenden zahlreiche Menschen Twitter, um ihre Meinungen auszudrücken oder die neusten Nachrichten zu bekommen. Manchmal könnten Sie sehr daran interessiert sein, was berühmte Leute auf dieser Plattform sagen. In diesem Artikel erfahren Sie, wie Sie Twitter-Daten wie Tweets, Kommentare, Hashtags, Bilder scrapen oder herunterladen können. Es gibt eine einfache Methode, womit Sie innerhalb von 5 Minuten einen Twitter Scraper erstellen können, ohne API, Python oder beliebige Kodierung verwenden zu müssen.
Ist es legal, Twitter zu scrapen?
Im Allgemeinen ist es legal, wenn Sie öffentliche Daten scrapen. Sie sollten jedoch immer die Urheberrechtspolitik und die Verordnung über personenbezogene Daten beachten. Es liegt in Ihrer Verantwortung, wie Sie die gescrapten Daten verwenden. Sie sollten auf Ihre lokalen Gesetze achten. Wenn Sie immer noch Bedenken haben, rechtliche Risiken einzugehen, können Sie Twitter API ausprobieren. Twitter API bietet Zugang zu Twitter für fortgeschrittene Benutzer, die sich Programmierung auskennen.
Welche Daten kann man auf Twitter scrapen?
Sie sollten ohne Zweifel nur die öffentlichen Daten auf Twitter scrapen. Es ist möglich, dass man die sichtbaren Twitter-Daten wie Tweets, Hashtag, Kommentare scrapen kann. Außerdem müssen Sie auch die Nutzungsbedingungen von Twitter beachten.
Twitter ändert sich zu X, was die Leute sagen
Am 24. Juli 2023 änderte Twitter sein Logo vom ikonischen blauen Vogel zum X. Jetzt können Sie das brandneue X-Logo sehen, wenn Sie Twitter.com besuchen, und die neue Domain x.com leitet jetzt auf twitter.com weiter. Es gibt viele aktuelle Themen wie #Xeet und #Twitter “X”, die auf Twitter diskutiert werden.
Was halten Sie von der Umbenennung von Twitter in X, und was sagen andere Leute dazu? Hier sind 3 Tipps, die wir Ihnen empfehlen, um die Nachrichten mit Octoparse als Twitter Scraper Tool zu bekommen und zu analysieren.
Tipp 1: Kommentare von Elon Musks Tweet scrapen
Elon Musks neuester Tweet lautet „Our headquarters tonight“ und hat bereits fast 40k Kommentare. Und das vorherige Video über das neue Logo, das er getwittert hat, hat bereits 47,5k Kommentare. Es ist ein wichtiger Ort, um zu erfahren, was die Leute über die Änderungen sagen.
Octoparse bietet zwei Möglichkeiten, Kommentare von Twitter auszulesen. Die eine ist, manuell ein Tweet Scraper über allen Kommentare und Antworten zu erstellen, während die andere die Verwendung einer voreingestellten Scraping-Vorlage ist.
Tipp 2: Tweets nach Hashtag scrapen
Man kann unter einem bestimmten Hashtag, wie #Xeet, alle Tweets scrapen. Es gibt auf Octoparse schon eine Vorlage mit dem Namen Tweets details by hashtag_Twitter, womit man einfach Tweets durch die Erstellung eines Twitter-Hashtag-Scraper erhalten, einschließlich der Tweet-URL, des Autorennamens und -kontos, der Posting-Zeit, des Bild- oder Videoinhalts, der Likes usw. Oder Sie können natürlich auch manuell die Tweets scrapen, indem man einen Twitter-Scraper in Octoparse einrichtet.
Tipp 3: Mit Schlüsselwort Tweets scrapen
Wenn die oben genannten Tipps nicht ausreichen, können Sie selbst nach einem Schlüsselwort suchen und die Suchergebnisse herunterladen. Sie können auch eine von Octoparse bereitgestellte Vorlage mit dem Namen Tweets details by search result URL_Twitter verwenden. Oder Sie können die folgenden Schritte ausführen, um Tweets selbst zu scrapen.
Twitter Scraper Tool: Octoparse Schritt-für-Schritt Anleitung
Um Daten aus Twitter zu extrahieren, ohne zu programmieren, können Sie Octoparse verwenden. Es ist ein Web Scraper, der die menschliche Interaktion mit Webseiten simuliert. Es ermöglicht Ihnen, alle Informationen zu extrahieren, die Sie auf jeder Website sehen, einschließlich Twitter. Nach dem Daten-Scraping können Sie die Twitter-Daten dann in Excel-Tabellen, CSV, HTML und SQL exportieren oder sie in Echtzeit über Octoparse-APIs in Ihre Datenbank streamen.
Schritt 1: Geben Sie die URL ein und erstellen Sie das Umblättern
Relative Artikel: Daten Scraping mit Web-Scrollen
Bevor wir die Anleitung ansehen, können Sie zuerst Octoparse herunterladen. Nehmen wir an, dass wir versuchen, alle Tweets eines bestimmten Benutzers zu crawlen. In diesem Fall scrapen wir den offiziellen Twitter-Account von Octoparse. Sie können beobachten, dass die Website im integrierten Browser geladen wird. Normalerweise haben viele Websites eine Schaltfläche „Nächste Seite“. Octoparse kann auf die Schaltfläche klicken, um weitere Inhalte zu erhalten. In diesem Fall wendet Twitter jedoch die Technik namens „Unendliches Scrollen“ an. Wegen der Technik müssen Sie zuerst die Seite nach unten scrollen, damit Twitter ein paar weitere Tweets laden kann, und dann die auf dem Bildschirm angezeigten Daten extrahieren. Der endgültige Extraktionsprozess läuft also folgendermaßen ab: Octoparse scrollt die Seite ein wenig herunter, extrahiert die Tweets, scrollt ein wenig herunter, extrahiert, und so weiter und sofort.
Um den Bot die Seite wiederholt nach unten scrollen zu lassen, können wir das Umblättern erstellen, indem wir auf den leeren Bereich klicken und „loop click single element“ im Tipps-Panel anklicken. Dann wird im Workflow-Bereich eine Paginierungsschleife angezeigt, was bedeutet, dass wir erfolgreich das Umblättern eingestellt haben.
Schritt 2: Erstellen Sie „Loop Item“, um die Daten zu extrahieren
Relative Artikel: Funktionvorstellung von „Loop Item“
Jetzt wollen wir einen Tweet-Scraper erstellen. Angenommen, wir möchten die folgenden Informationen extrahieren möchten: der Name, die Veröffentlichungszeit, der Textinhalt, die Anzahl der Kommentare, Retweets und Likes.
Zunächst erstellen wir eine Extraktionsschleife, um die Tweets abzurufen. Wir können mit dem Cursor auf die Ecke des ersten Tweets klicken. Wenn es in Grün hervorgehoben ist, wird Octoparse alle ähnlichen Elemente detektieren. Oder Sie können auch manuell diesen Vorgang für den zweiten Tweet wiederholen, um alle Items auszuwählen. Nach der Auswahl von allen Elemente klicken Sie auf „Text“ unter „Daten Extrahieren“ und eine Extraktionsschleife wird in den Workflow eingebaut.
Falls wir verschiedene Datenfelder in separate Spalten extrahieren wollen, müssen wir die Extraktionseinstellungen ändern, und die Zieldaten manuell auszuwählen. Dies ist sehr einfach. Finden Sie unter den Schritt „Daten extrahieren“ im Workflow. Klicken Sie auf den Namen des Benutzers und dann auf „Text“ unter „Daten extrahieren“-Teil. Wiederholen Sie diese Aktion, um alle gewünschten Datenfelder zu wählen. Wenn Sie fertig sind, löschen Sie die erste Spalte, die wir nicht brauchen, und speichern Sie diesen Tweet Scraper.
Schritt 3: Ändern Sie die Einstellung des Umblätterns und führen Sie den Crawler aus
Wir haben bereits eine Paginierungsschleife erstellt, aber wir müssen noch eine kleine Änderung an der Workflow-Einstellung vornehmen. Da wir wollen, dass Twitter den Inhalt vollständig lädt, bevor der Bot ihn extrahiert, stellen wir eine AJAX-Wartezeit auf 5 Sekunden ein, damit Twitter nach jedem Scrollen 5 Sekunden Zeit zum Laden hat. Dann legen wir sowohl die Scroll-Wiederholungen als auch die Wartezeit auf 2 fest, um sicherzustellen, dass Twitter den Inhalt erfolgreich lädt. Jetzt wird Octoparse jedesmal 2 Bildschirme nach unten scrollen, und jeder Bildschirm wird 2 Sekunden dauern.
Gehen Sie zurück zu den Einstellungen für „Schleife“ und wählen Sie den Modus als „Seite Scrollen“, dann stellen Sie die Anzahl des Scrolles auf 20. Dies bedeutet, dass der Bot das Scrollen 20 Mal wiederholt. Sie können diesen Twitter Scraper nun auf Ihrem lokalen Gerät oder auf den Octoparse-Cloud-Servern ausführen, um die Twitter-Daten zu erhalten oder herunterzuladen.
Wenn Sie noch Fragen hätten, können Sie das Tutorial über Scraping der Tweets aus einem Twitter-Konto ansehen.
Twitter Scraper mit Python
Sie können Twitter Scraper auch mit Python erstellen, wenn Sie gut programmieren können. Es gibt einige Zugänge wie Tweepy oder Twint. Sie müssen ein Twitter-Entwicklerkonto erstellen und einen API-Zugang beantragen, der es Ihnen nur erlaubt, Tweets mit einer Einschränkung zu erhalten.
Octoparse ist ein ganz einfaches Web Scraping Tool, um Daten aus Twitter zu bekommen. Es bietet eine Methode ohne Kodierung zum Scraping der Tweets. Für Anfänger und Neulings ist Octoparse ganz freundlich und nützlich. Außerdem wird Ihnen Octoparse Support Team viele Hilfe anbieten.
