Сочуствую, чуваг :(
Парсер, складывает данные в реляционную БД :) Поэтому на их основе можно даже создать функционал сравнения и подбора товаров, так как данные разобраны очень подробно.
С чем связан такое короткое время жизни? Неужели алгоритмы Яндекса лучше вычисляют дорвеи, чем google? :))
Не пошлет :) ...
За ночь выкачал Маркет, все их 35 тыс. с лишним описаний, это меньше 1G http трафика (без изображений).
Обновление требует около 120М http трафика (пробежаться по списку товаров и сравнить со скачаными в предыдущей сессии). Сегодняшнее обновление показало, что у них каждый день пополняется база.
Качал из дому с динамическим IP, пока что не забанили :)
Ничего не мешает запустить граббер дома, где провайдер выдает айпишники динамически. Провайдера банить маркет врядли станет, потеряет много клиентов, особенно если провайдер крупный.
Спасибо, блин, от жадности не заметил этот комбобокс 😆
Смотря для кого воровать нехорошо :)
Зачем нанимать людей, чтобы те вручную выискивали характеристики в инете, если можно взять в большом каталоге? Вот, например, я открываю магазин, и копирую характеристики с Яндекса.
Если я правильно понимаю, в случае "отвали злостный спамер" в логи сервера не пишется заход яндекс бота? У меня зашел, а раньше никакой реакции...
Действительно, если пытаться добавить по нескольку раз, все-таки получается. У меня с 5-го раза бот зашел :)
На официальном сайте, здесь
