LEOnidUKG

LEOnidUKG
Рейтинг
1778
Регистрация
25.11.2006
Должность
PHP
Интересы
Программирование
Kide:
LEOnidUKG, Маркет не парсил, но тоже интересно и может натолкну на мысли... есть пара вопросов:
- покажите файл куков. есть что-то интересное? есть отличия от браузерных?
- пробовали менять юзер-агент?
- я правильно понял, что используете один набор ip-useragent? пробовали давать ip "отдохнуть" пару дней или заходить в выдачу с таким же юзер агент?

И добавлю... Использовали анти-капчу? что просиходит при верном вводе?

1. Куки не сильно отличаются от браузерного. Я пробовал из браузера все вставить, без изменений

2. Пробовал разные юзер агенты даже как у меня у текущего браузера

3. да ёмаё, брауезры и так все одинаковы. Беру с этим юзерагентом в браузере реальном, тыкаю, потом его переношу в скрипт. Не влияет это.

Эм, ну что происходит после удачного ввода, всё ок. 3-5 запросов и опять каптча.

---------- Добавлено 09.08.2014 в 10:54 ----------

anser06:
По ночам при парсинге яндекс капчу реже показывает, яндексоиды сами говорили. Вроде как с полуночи до 4-5 утра.

Я так и буду клиентам говорить, мол ребяки не спите по ночам, а парсите 🤪

'[umka:
;13041448']Попробуйте в браузере отключить подгрузку изображений, стилей, скриптов и пр.
Чтобы браузер забирал только html-код.
И снова интенсивно "поклацайте" :)

Нужно нащупать, с помощью какого подгружаемого файла яндекс отделяет мух от котлет.

Попробовал сейчас. Благо опера старая это позволяет в два клика.

Выключил все плагины

Выключил JS

Очистил куки. Яндекса 1 раз запросил каптчу. Ввёл.

Всё, тыкал открыл 50 страниц товаров. Никаких проблем.

Asp1k:
http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#host

Директива Host должна состоять из следующих частей:
1) указание на протокол HTTPS, если зеркало доступно только по защищенному каналу (Host: https://myhost.ru);

Причем в классическом случаи http не пишется, но по яндексу для https надо.

Ну тогда вопрос отпадает и тема топика тоже 🍿

Зачем? хост для домена прописывается, а не деля протокола.

Делайте 301 редирект с http на httpS и всё.

Насколько понимаю ssl это не бесплатно?

По сути нет. Есть только барижные startssl выдают для не коммерческих проектов.

Остальные все платные.

yanus:
Ну, браузер-то еще и java с flash исполняет.

Такая помощь, такая подсказка. В КЭП-а решили поиграть? 🍿

Я не жду решения обхода, я жду решения уменьшения. Возможно проблема в мелочи, возможно кто-то уже нащупал.

Ребята ну сколько раз можно обжигаться то на этом а? :)

Всё будет конечно, вы что не понимаете?

Я могу вам помочь, купить 1 к 50 у вас WMR и WMZ

Слетит, а потом поклеится и восстановится.

АП ТИЦА... ДРУЗЬЯ!!!

Серьёзно:

90 -> 110

260->275

0->10

0->10

по вебмастеру яндекса

Всем удачного АП-а. Зачастил чёт Яндекс. 🍿

Всего: 31535