Walmart-Preise, Produktdaten und Bilder scrapen
Walmart Inc. ist ein amerikanischer Einzelhandelskonzern. In der Google-Suche gibt es etwa 34 Millionen Seiten von
Walmart.com. Dabei handelt es sich hauptsächlich um Konsumgüter. Von den Seiten dieser Website können Sie Produktbeschreibung,
Bild, Preis, Bewertungen usw. erhalten. In diesem Tutorial zeige ich, wie man Walmart.com Web
Scraping schnell und einfach einrichtet und große Datenmengen zu Produkten einer bestimmten Kategorie erhält.
Um Daten von dieser Website zu extrahieren, benötigen wir einen Proxy, konfiguriertes Selenium und die Suchmaschine Kavunka. Wir erhalten
die folgenden Daten:
- NAME - Produktname;
- BRAND - Herstellermarke;
- IMAG - Bild;
- PRICE - Preis;
- RATING - Bewertung;
- DESCR - Produktbeschreibung;
- CREV - Kundenbewertungen;
Sehen wir uns den HTML-Code dieser Seite an (Ctrl + A, dann linke Maustaste und View Selection
Source). Es kann so aussehen, als sei der Browser eingefroren, aber man muss nur kurz warten. Jetzt suchen wir den Namen der
Webcam "Webcam 1080P with Microphone HD Web Cam Vitade 826M USB Video Camera". Der Produktname steht an vielen
Stellen, aber ich habe eine JSON-Zeile gefunden, die unsere Webcam und weitere Informationen enthält.
Das ist Glück - jetzt wird es viel einfacher, Daten von dieser Website zu erhalten. Gehen wir im Admin-Panel der Suchmaschine
zum Tab "TESTER" und verwenden den "Regular expressions designer". Danach füllen wir die Felder wie im Bild aus.
Reguläre Ausdrücke
Als Ergebnis erhalten wir einen regulären Ausdruck für NAME
Step 1:
Für die übrigen Felder gehen wir genauso vor. Dadurch erhalten wir solche regulären Ausdrücke. Die schrittweise Verwendung regulärer Ausdrücke ermöglicht schnelles und präzises Walmart Scraping.
BRAND
Step 1:
IMAG
Step 1:
PRICE
Step 1:
RATING
Step 1:
DESCR
Step 1:
CREV
Step 1:
Step 1:
(?<="productName":").*?(?=")
Für die übrigen Felder gehen wir genauso vor. Dadurch erhalten wir solche regulären Ausdrücke. Die schrittweise Verwendung regulärer Ausdrücke ermöglicht schnelles und präzises Walmart Scraping.
BRAND
Step 1:
(?<=class="prod\-brandName)[\w\W]*?(?=</a><h1)
IMAG
Step 1:
(?<=<meta\ property="og:image"\ content=")[\w\W]*?(?=")
PRICE
Step 1:
(?<=itemprop="price"\ content=").*?(?=")
RATING
Step 1:
(?<=itemprop="price"\ content=").*?(?=")
DESCR
Step 1:
(?<=<div\ class="about\-desc)[\w\W]*?(?=</div)
CREV
Step 1:
(?<=<div\ class="review\-text">)[\w\W]*?(?=</div>)
Scan-Einstellungen
Selenium verwenden: Ja
Verzögerung (Sek.): 3
Alles parsen: Nein
Min. "gf": 7 (gf - Anzahl gefüllter Felder; wenn der gf-Parameter niedriger ist als angegeben, wird die Seite nicht gespeichert)
User-Agent: (dieses Feld wird automatisch ausgefüllt)
Priority Anchors: Webcam, Video Camera, Web Cam (wenn der Crawler auf einen Link mit diesen Wörtern trifft, wird dieser Link zuerst gecrawlt).
Priority URLs: /ip/ (wenn die URL diese Zeichen enthält, wird sie zuerst gescannt).
Speichern Sie die Vorlage und wechseln Sie zum Tab "TASKS". Fügen Sie dann die Aufgabe für Octopus, Worder und KAVUNKA hinzu (reload). Nach Abschluss des Scans laden wir die Daten von walmart.com herunter (Button DATA im Tab "SITES").
Verzögerung (Sek.): 3
Alles parsen: Nein
Min. "gf": 7 (gf - Anzahl gefüllter Felder; wenn der gf-Parameter niedriger ist als angegeben, wird die Seite nicht gespeichert)
User-Agent: (dieses Feld wird automatisch ausgefüllt)
Priority Anchors: Webcam, Video Camera, Web Cam (wenn der Crawler auf einen Link mit diesen Wörtern trifft, wird dieser Link zuerst gecrawlt).
Priority URLs: /ip/ (wenn die URL diese Zeichen enthält, wird sie zuerst gescannt).
Speichern Sie die Vorlage und wechseln Sie zum Tab "TASKS". Fügen Sie dann die Aufgabe für Octopus, Worder und KAVUNKA hinzu (reload). Nach Abschluss des Scans laden wir die Daten von walmart.com herunter (Button DATA im Tab "SITES").