LEOnidUKG

LEOnidUKG
Рейтинг
1784
Регистрация
25.11.2006
Должность
PHP
Интересы
Программирование
Dreamfall:
Ерунда, юкоз и жж спокойно окупают всё.

Ну т.е. любой может заняться любым бизнесом у него всё 100% получиться? 🤪

Вы на какой планете живёте?

Откат пока только по Яндекс.Вебмастеру. Но там у меня лично уже давно какие-то чудеса, например со страницами в индексе. ПО 2-5 раз за сутки меняются цифры на одном проекте.

demonichka:
Ну то закрыли бы тогда комментарий, зачем же избавляться от Яндекс.Видео. Нормальный был хостинг, часто им пользовалась. Тут нужно копать глубже....

Чего глубже?

Просто провели тесты:

Сервис->Раскрутка->Выхлоп

Если последнее не окупает ни рекламу ни разработку, сервис сливается. Просто бизнес.

foxi:
В браузере проверяйте js файлы на предмет простановки ими куков. Или даже картинки.

А можно узнать, как это сделать? Загружать руками каждую картику и JS?

Я попробовал сделать так.

1. Прошёл по многим сервисам яндекса в браузере, и сам поиск и маркет.

2. Экспортировал все куки собранные в файл

3. Отдал их скрипту

т.е. если даже у него запросят каптчу, то остальные куки останутся на долго ли, не знаю.

Но пока сработало.

Kide:
LEOnidUKG, Маркет не парсил, но тоже интересно и может натолкну на мысли... есть пара вопросов:
- покажите файл куков. есть что-то интересное? есть отличия от браузерных?
- пробовали менять юзер-агент?
- я правильно понял, что используете один набор ip-useragent? пробовали давать ip "отдохнуть" пару дней или заходить в выдачу с таким же юзер агент?

И добавлю... Использовали анти-капчу? что просиходит при верном вводе?

1. Куки не сильно отличаются от браузерного. Я пробовал из браузера все вставить, без изменений

2. Пробовал разные юзер агенты даже как у меня у текущего браузера

3. да ёмаё, брауезры и так все одинаковы. Беру с этим юзерагентом в браузере реальном, тыкаю, потом его переношу в скрипт. Не влияет это.

Эм, ну что происходит после удачного ввода, всё ок. 3-5 запросов и опять каптча.

---------- Добавлено 09.08.2014 в 10:54 ----------

anser06:
По ночам при парсинге яндекс капчу реже показывает, яндексоиды сами говорили. Вроде как с полуночи до 4-5 утра.

Я так и буду клиентам говорить, мол ребяки не спите по ночам, а парсите 🤪

'[umka:
;13041448']Попробуйте в браузере отключить подгрузку изображений, стилей, скриптов и пр.
Чтобы браузер забирал только html-код.
И снова интенсивно "поклацайте" :)

Нужно нащупать, с помощью какого подгружаемого файла яндекс отделяет мух от котлет.

Попробовал сейчас. Благо опера старая это позволяет в два клика.

Выключил все плагины

Выключил JS

Очистил куки. Яндекса 1 раз запросил каптчу. Ввёл.

Всё, тыкал открыл 50 страниц товаров. Никаких проблем.

Asp1k:
http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#host

Директива Host должна состоять из следующих частей:
1) указание на протокол HTTPS, если зеркало доступно только по защищенному каналу (Host: https://myhost.ru);

Причем в классическом случаи http не пишется, но по яндексу для https надо.

Ну тогда вопрос отпадает и тема топика тоже 🍿

Зачем? хост для домена прописывается, а не деля протокола.

Делайте 301 редирект с http на httpS и всё.

Насколько понимаю ssl это не бесплатно?

По сути нет. Есть только барижные startssl выдают для не коммерческих проектов.

Остальные все платные.

yanus:
Ну, браузер-то еще и java с flash исполняет.

Такая помощь, такая подсказка. В КЭП-а решили поиграть? 🍿

Я не жду решения обхода, я жду решения уменьшения. Возможно проблема в мелочи, возможно кто-то уже нащупал.

Всего: 31599