Einrichtung der IP-Proxys
Wednesday, June 29, 2022 2:44 PMSie folgen jetzt einem Tutorial für die neueste Version von Octoparse. Wenn Sie zur Zeit eine ältere Version verwenden, empfehlen wir Ihnen kräftig es, ein Upgrade zu machen, weil sie schneller, leichter und stärker ist! Herunterladen und Installierung eines Upgrades hier, wenn Sie nicht so bereits machen!
Ein Proxy ist ein Vermittler zwischen Ihrem Server und dem Internet, an den Sie Anfragen senden, um auf Informationen zuzugreifen. Wenn Sie einen Proxy verwenden, hilft er Ihnen, Anfragen an die Ziel-Website zu senden und Daten von ihr zu empfangen. Jeder Proxy hat eine eigene IP-Adresse. Daher können Sie mit dem Internet über eine andere IP-Adresse kommunizieren, die durch den Proxy repräsentiert wird, und so die wahre Identität Ihres Quell-Servers versteckt. Aber warum sollte man diesen Vermittler brauchen? Heute würde ich Ihnen anzeigen, wie man die IP-Proxys einrichten und wo sie verwendet werden.
1. Wo könnte Proxy verwendet werden?
-Haupsächliche Verwendungssituation-
Situation 1: Umgehung von Filtern und Zensur
Wenn Sie in den USA leben, können Sie wahrscheinlich keine Anwendungen installieren, die indischen Benutzern im Apple Appstore angeboten werden. Das liegt daran, dass der Server die IP-basierte Geolokalisierung verwendet, um den Zugang zu den Diensten auf eine bestimmte Region zu beschränken. Unternehmen nutzen diese Technik, um den Nutzern in einem bestimmten Markt maßgeschneiderte Dienste anzubieten. Und auf der Unternehmen-Ebene könnte es für Zensur geeignet sein, um den aus einer bestimmten Region kommenden, bestimmten Inhalt zu blockieren. Ein Proxy-Server kann Ihre Identität verbergen, indem er Anfragen in Ihrem Namen sendet. Um diese Beschränkung zu umgehen, verwenden Sie eine andere IP, die Zugriff auf die gewünschten Dienste hat.
Situation 2: Anti-Blocking mit IP-Rotation
Wenn Sie auf einer Website surfen, können häufige Besuche auf einem ungewöhnlichen Niveau vom Server als bösartige Aktionen erkannt werden. Um zu verhindern, dass der Server durch diesen hohen Datenverkehr, insbesondere durch Web-Scraping-Roboter, überlastet wird, ergreifen viele Websites jetzt Anti-Scraping-Maßnahmen, um ungewöhnliche Besucher zu blockieren. Das Internet betrachtet jedoch jede IP-Adresse als einen einzelnen Besucher, und wenn Sie die IP-Adresse wechseln, erschweren Sie es der Website, Ihre Aktivitäten zu erkennen. Surfen Sie auf der Website mit mehreren IPs, sodass Sie Ihre Besuche auf ein normales Maß kontrollieren können. Das ist die Ursache, dass die Menschen bei der Verwendung der IP-Rotation verhindern, blockiert zu werden.
-Proxy-Typen-
Es gibt zwei Typen von Proxy: „datacenter Proxys“ und „residential proxies“. Die Beiden tragen zur Anonymität bei und helfen, geografische Beschränkungen zu umgehen. Was sind also die Unterschiede?
• In der Regel werden „datacenter proxies“ in großen Mengen gekauft und mit einer Reihe von IP-Adressen versehen. Die IPs haben keine Verbindung zu dem Internetdienstanbieter (ISP) und sind völlig unabhängig. Die Vorteile vom „datacenter proxies“ sind die höhere Geschwindigkeit und der niedrigere Preis.
• „Residential proxies“ bietet eine IP-Adresse, die von einem Internetdienstanbieter (ISP) bereitgestellt wird und zu einer Straßenadresse zurückverfolgt werden kann. Sie treten gegenüber allen Servern als durchschnittliche Benutzer auf, was es schwierig machen kann, entdeckt zu werden. Daher sind sie legitimer als „datacenter proxies“. Im Vergleich dazu sind „residential proxies“ weniger verbreitet und teurer.
Wenn Sie ach Proxys für Web Scraping suchen, könnten Sie die Kombination von Smartproxy und Octoparse probieren.
-Anwendungsfälle von Web Scraping -
Wenn Sie Web Scraping benutzen, sind Proxys ein notwendiger Bestandteil. Proxys können bei Geo-Targeting, Anti-Blocking, Beschleunigung und so weiter helfen. Neben einigen grundlegenden Funktionen können Proxys für Geschäftsleute in bestimmten Situationen sehr leistungsfähig sein, um verschiedene Ziele zu verwirklichen. Hier sind einige Beispiele:
• SEO-Analyse
• Preisrecherche
• Web Scraping in großem Maßstab
Fall 1: SEO-Analyse
Wenn Sie das Ranking Ihrer Website bei Google verbessern möchten, sollen Sie zunächst die Suchmaschinenergebnisse für bestimmte Suchanfragen überwachen. SEO-Vermarkter sammeln die Daten der Suchergebnisse für die Datenanalyse und erstellen einen Optimierungsplan für ihre Inhalte. Wenn Sie jedoch in den USA ansässig sind und planen, mehr Internetverkehr aus Spanien auf Ihre Websites zu leiten, könnten Sie auf einige Probleme stoßen. Die Suchergebnisse variieren von Land zu Land. Sie können nicht nach Spanien reisen, nur um Zugang zu lokalen Suchergebnissen zu erhalten. In dieser Hinsicht können Proxys Ihnen helfen, lokale Daten durch Geo-Targeting zu erhalten: Besuchen Sie einfach Google mit einer in Spanien ansässigen IP.
Fall 2: Preisrecherche
Der Produktpreis ist ein wichtiger Faktor, der bei fast allen geschäftlichen Recherchen und Entscheidungsprozessen eine Rolle spielt. Sowohl für Online-E-Commerce-Unternehmen als auch für Offline-Einzelhändler sind Preisdaten ein Muss, um eine Produktrecherche zu starten und um zu wissen, wo sie im Wettbewerb stehen. Die Preise für Produkte werden jedoch in verschiedenen Währungen angegeben, wenn man sie aus verschiedenen Ländern besucht. Manchmal sind die Preise sogar unterschiedlich hoch. Deshalb brauchen Sie einen Proxy, der Ihnen hilft, sich auf dem erforschten Markt zurechtzufinden. Mit den IPs eines bestimmten Landes können Sie die genauen Preisdaten erhalten, die die Kunden vor Ort erhalten.
Fall 3: Web Scraping in großem Maßstab
Wenn Sie routinemäßig eine Reihe von Websites scrapen möchten, um eine große Menge an Daten zu erhalten, werden Sie möglicherweise blockiert. Das liegt daran, dass viele Websites inzwischen Anti-Scraping-Maßnahmen ergreifen, um zu verhindern, dass die Server durch häufige Besuche überlastet werden. Web-Scraping zu Zwecken wie Produktrecherche im E-Commerce, Generierung von Leads oder Sammlung von Nachrichten erfordert oft eine große Menge an Daten. Wenn die Website, von der Sie scrapen, Anti-Scraping-Techniken einsetzt, ist es normal, blockiert zu werden.
Die Veränderung Ihrer IPs könnte Ihnen während des Scrapings der Aufgabe helfen, die Sperrung zu umgehen. Erhalten und verwenden Sie eine Menge von Proxys, sodass das Internet für immer nie wissen, dass die Menschen hinter den IPs gleich sind.
2. Wie werden die IP-Proxys eingerichtet?
Wenn Sie auf eines der folgenden Probleme gestoßen sind, sollten Sie versuchen, IP-Proxys manuell in Octoparse einzurichten:
• Wenn Ihre Firma oder Institution ein Intranet verwendet und externe Anfragen einschränkt, können Sie sich nicht in Octoparse anmelden.
• Wenn Ihre Ziel-Website sehr empfindlich auf Web-Scraping reagiert und Anti-Scraping-Strategien wie IP-Sperren implementiert, um Scraping-Aktivitäten zu stoppen.
Es gibt zwei Methoden, dass Sie verwenden können:
Methode 1: Verwendung des Proxy zur Anmeldung von Octoparse
Methode 2: Drehung externes Proxy-Servers zur Bekämpfung der IP-Sperrung (Nur Lokal-Run)
Methode 1: Verwendung des Proxy zur Anmeldung von Octoparse
Schritt 1: Klicken Sie auf 
in der Anmeldungsplatte.
Schritt 2: Geben Sie nach Bedarf die Information des Proxy ein.
Schritt 3: Sie können „Test“ drücken, um zu sehen, ob die Verbindung gut ist. Wenn alles in Ordnung ist, drücken Sie „Confirm“ zur Speicherung.
Methode 2: Drehung externes Proxy-Servers zur Bekämpfung der IP-Sperrung (Nur Lokal-Run)
Wenn eine Website Ihre IP oder unsere Cloud blockiert hat, können Sie in der Aufgabeneinstellungen einen IP-Proxy einstellen. Der IP-Proxy würde für Lokal-Datenextraktion ausgeführt.
Schritt 1: Öffnen Sie die Aufgabe, für die Sie Proxys einstellen möchten.
Schritt 2: Klicken Sie oben links auf 
.
Schritt 3: Kreuzen Sie den Kasten von „Use IP Proxies“ an und gehen Sie zu „Settings“.
Schritt 4: Beachten Sie, dass Octoparse nur HTTP-Proxys unterstützen - bitte trennen Sie die IP-Adresse des Proxy-Servers und die Port-Nummer durch einen Doppelpunkt. z.B. 58.22.214.29:2318. Dann drücken Sie „Confirm“ zur Speicherung Ihrer Einstellungen.
Tipps！
Die Qualität vom IP-Proxy ist während der Verwendung dieser Besonderheit für Ihre Aufgaben wichtig. Wir haben eine Empfehlung für Sie - Bright Data, was den fortschrittlichst rotierenden Wohnproxy-Service bietet, der das schnellste und größte Real-Peer-IP-Netzwerk der Welt anbietet. Erfahren Sie darüber mehr Details hier: Proxy Integration with Bright Data.
Autor*in: Das Octoparse Team
