Как получить цены, данные и изображения товаров Walmart
Walmart Inc. - американская розничная корпорация. В поиске Google около 34 миллионов страниц
Walmart.com. В основном это потребительские товары. Со страниц этого сайта можно получить описание товара,
изображение, цену, отзывы и т.д. В этом tutorial я покажу, как быстро и легко настроить Walmart.com web
scraping и получить большой объем данных о товарах в определенной категории.
Чтобы извлечь данные с этого сайта, нужны proxy, настроенный Selenium и поисковая система Kavunka. Мы получим
следующие данные:
- NAME - название товара;
- BRAND - бренд производителя;
- IMAG - изображение;
- PRICE - цена;
- RATING - рейтинг;
- DESCR - описание товара;
- CREV - отзывы покупателей;
Посмотрим HTML-код этой страницы (Ctrl + A, затем левая кнопка мыши и View Selection
Source). Может показаться, что браузер завис, но нужно немного подождать. Теперь найдем название
веб-камеры "Webcam 1080P with Microphone HD Web Cam Vitade 826M USB Video Camera". Название товара встречается во многих
местах, но я нашел JSON-строку, содержащую нашу веб-камеру и другую информацию.
Это удача - теперь получить данные с этого сайта будет намного проще. Перейдем в admin panel поисковой системы
на вкладку "TESTER" и используем "Regular expressions designer". Затем заполним поля, как показано на изображении.
Регулярные выражения
В результате мы получили регулярное выражение для NAME
Step 1:
Для остальных полей делаем то же самое. В результате получаем такие регулярные выражения. Пошаговое использование регулярных выражений позволяет выполнять Walmart scraping быстро и точно.
BRAND
Step 1:
IMAG
Step 1:
PRICE
Step 1:
RATING
Step 1:
DESCR
Step 1:
CREV
Step 1:
Step 1:
(?<="productName":").*?(?=")
Для остальных полей делаем то же самое. В результате получаем такие регулярные выражения. Пошаговое использование регулярных выражений позволяет выполнять Walmart scraping быстро и точно.
BRAND
Step 1:
(?<=class="prod\-brandName)[\w\W]*?(?=</a><h1)
IMAG
Step 1:
(?<=<meta\ property="og:image"\ content=")[\w\W]*?(?=")
PRICE
Step 1:
(?<=itemprop="price"\ content=").*?(?=")
RATING
Step 1:
(?<=itemprop="price"\ content=").*?(?=")
DESCR
Step 1:
(?<=<div\ class="about\-desc)[\w\W]*?(?=</div)
CREV
Step 1:
(?<=<div\ class="review\-text">)[\w\W]*?(?=</div>)
Настройки сканирования
Использовать Selenium: Да
Задержка (сек.): 3
Parse Everything: Нет
Min. "gf": 7 (gf - количество заполненных полей; если параметр gf ниже указанного, страница не будет сохранена)
User-Agent: (это поле заполняется автоматически)
Priority Anchors: Webcam, Video Camera, Web Cam (если crawler встретит ссылку с этими словами, она будет обработана первой).
Priority URLs: /ip/ (если URL содержит эти символы, он будет просканирован первым).
Сохраните шаблон и перейдите на вкладку "TASKS", затем добавьте задачу для Octopus, Worder и KAVUNKA (reload). После завершения сканирования скачайте данные с сайта walmart.com (кнопка DATA на вкладке "SITES").
Задержка (сек.): 3
Parse Everything: Нет
Min. "gf": 7 (gf - количество заполненных полей; если параметр gf ниже указанного, страница не будет сохранена)
User-Agent: (это поле заполняется автоматически)
Priority Anchors: Webcam, Video Camera, Web Cam (если crawler встретит ссылку с этими словами, она будет обработана первой).
Priority URLs: /ip/ (если URL содержит эти символы, он будет просканирован первым).
Сохраните шаблон и перейдите на вкладку "TASKS", затем добавьте задачу для Octopus, Worder и KAVUNKA (reload). После завершения сканирования скачайте данные с сайта walmart.com (кнопка DATA на вкладке "SITES").