undefined

Scrapen Produktdaten von Canadian Tire  

Wednesday, June 09, 2021 11:23 AM

In diesem Tutorial zeigen wir Ihnen, wie Sie Produktdaten von canadiantire.com mit Octoparse sammeln können.

 

In diesem Fall können Sie einfach unsere "Aufgabenvorlage" für Canadian Tire verwenden. Sie brauchen keine Aufgabe selbst zu konfigurieren, sondern nur einige Parameter einzugeben. Für weitere Details können Sie hier nachsehen: Aufgabenvorlagenexternal-link-symbol-1.png

 1515151515.png

 

Wir werden den Titel, den Preis, den Bestand usw. von dieser Website scrapen. Zum Üben verwenden wir diese URL als Beispiel:

https://www.canadiantire.ca/en/automotive/tires-wheels/tires.html?adlocation=LOL_TiresSCLP_MegaNavAuto_19309_enhttps://www.canadiantire.ca/en/search-results.html?q=bulb

 

 

 

Hier sind die wichtigsten Schritte in diesem Tutorial:  [Aufgabendatei hier  herunterladen]

 

1. "Go To Web Page" - Öffnen die Ziel-Webseite

2. Detektieren automatisch die Daten von der Webseite - Erstellen einen Workflow

3. Klicken in jeden Produktlink, um detailliertere Informationen zu scrapen

4. Extrahieren Daten aus der Produkt-Detailseiten

5. Stellen eine Wartezeit ein, um die Scraping-Geschwindigkeit zu verlangsamen

6. Speichern und starten, um die Aufgabe auszuführen und Daten zu erhalten

 

 

 

1. "Go To Web Page" - Öffnen die Ziel-Webseite

 

• Geben Sie die Beispiel-URL ein und klicken Sie auf "Start".

 2554254254.png

 

Tipps!

Wenn Sie Pop-up-Fenster auf der Webseite sehen, wechseln Sie bitte in den Browse-Modus, indem Sie auf mceclip0.png  klicken. Vergessen Sie nicht, den Browse-Modus danach wieder auszuschalten.

 

 

 

2. Detektieren automatisch die Daten von der Webseite - Erstellen einen Workflow

 

• Klicken auf "Auto-detect web page data" und warten, bis die Detektion abgeschlossen ist

(Es kann lange dauern, da die Webseite die Techinik „Unendliches Scrollen“ benutzt.)

 2.png

 

• Klicken auf "Edit" unter "Click on a Load More button", um die Anzahl des Klicks zu ändern. Es hängt davon ab, wie viele Produkte Sie scrapen möchten (Die Voreinstellung ist "1" Mal.)

 2..gif

 

• Löschen unerwünschte Felder oder Benennen die Felder bei Bedarf um

 2.1.png

 

• Klicken auf "Create workflow"

 2.2.png

 

 

3. Klicken in jeden Produktlink, um detailliertere Informationen zu erhalten

 

• Wählen “Click on link(s) to scrape the linked page(s)”

• Wählen "Click on an extracted data field" und dann "Title_URL" from the drop-down menu

• Klicken auf "Confirm"

 5629625656.gif

 

4. Extrahieren Daten aus der Produkt-Detailseiten

 

• Wählen Informationen auf der Webseite aus

• Wählen "Extract text of the selected element"

• Wiederholen die obigen Schritte, um alle benötigten Daten zu extrahieren

512961495849841.gif

 

• Benennen die Felder bei Bedarf um

 3.1.png

 

 

5. Stellen eine Wartezeit ein, um die Scraping-Geschwindigkeit zu verlangsamen

Die Website wendet die Anti-Scraping-Technik an und würde Ihren Zugriff verweigern, wenn Sie zu schnell scrapen. Wir müssen das Scraping verlangsamen, indem wir die Wartezeit einstellen.

 

• Doppelklicken auf "Extract Data1", um die Einstellung zu öffnen

• Wählen "Wait before action"

• Stellen die Wartezeit auf 7-10s ein

 5.1.gif

 

6. Speichern und starten, um die Aufgabe auszuführen und Daten zu erhalten

 

• Klicken auf "Save"

• Klicken auf "Run"

• Wählen "Run on your device external-link-symbol-1.png", um die Aufgabe mit Ihrem lokalen Gerät auszuführen, oder Wählen "Run in the Cloud external-link-symbol-1.png", um die Aufgabe auf unseren Cloud-Servern auszuführen (nur für Premium-Benutzer)

 6.png

 

 

Hier sind die Beispieldaten.

6_1561561.png

 

 

 

btnImg
Diese Website verwendet Cookies um Ihnen ein besseres Internet-Erlebnis zu ermöglichen. Lesen Sie wie wir Cookies verwenden und Sie können sie kontrollieren, indem Sie auf Cookie-Einstellungen klicken. Wenn Sie die Website weiter nutzen, akzeptieren Sie unsere Verwendung von Cookies.
Akzeptieren Ablehnen