Есть маркетплейс, апи он не предоставляет, но можно спарсить информацию путем отправления запросов на их “внутренние” общедоступные URL и получать json с необходимой информацией. Нужно получить все отзывы на все товары.

Общая схема работы на данный момент представляется так:

• Есть 3 независимых парсера, которые могут делать запросы через прокси: парсер продавцов, товаров, отзывов.
• Парсер продавцов на вход получает URL с категорий товаров (платья, шубы, носки и тд и тп) и сохраняет в БД всех продавцов этого раздела
• Парсер товаров получает на вход ID продавца и получает все его товары, сохраняет их в БД
• Парсер отзывов получает на вход ID товара и сохраняет все отзывы этого продавца.

Описание таблиц в базе:

• parser_suppliers - таблица продавцов
• parser_products - таблица товаров
• parser_reviews - таблица отзывов
• parser_users - таблица авторов

Есть продавцы, у каждого продавца список его товаров, у каждого товара есть список отзывов, у каждого отзыва есть автор

схема базы данных

Средний расчет:

• Продавцов: 359.118
• Товаров: 60.502.136
• % товаров без отзывов: 39%
• Товаров для парсинга: 37.234.031
• Среднее кол-во отзывов на товар: 58 (максимальное 1000, минимальное 1)
• Плановое кол-во отзывов в БД: 2.159.573.798