Итак, прикрутили возможность задавать регион поиска в Яндексе и работу с а_нти-капчей. В списке поисковиков теперь есть несколько разных Яндексов. Как они работают:
1. Yandex.ru - показывает выдачу "как она есть" из вашего региона. Т.е. то же самое, что вы видите в браузере (если никаких особых настроект не делали). ВАЖНО!!!: xml для поиска в Yandex.ru более не используется - т.е. поиск всегда идет напряму через веб.
2. Yandex.XML - сделали отдельным поисковиком, т.к. теперь XML выдача показывает вообще неизвестно что.
3. Яндекс.Регион - это возможность задавать регион поиска - tune.yandex.ru/region/ - т.е. Москву, Питер, Украину или все остальные регионы
4. Яндекс.Локал - это возможность искать с включенной галочкой "искать в Москве", "искать в Самаре" и т.д. - большого смысла в этом нет, но возможно кому-то нужно.
Теперь самый важный вопрос - поскольку xml теперь показывает непонятно что - то придется искать через обычный веб-поиск. Т.е. возникает риск бана IP адреса. Видится два оптимальных решения:
1. Использовать прокси. Поскольку можно задавать регион поиска, то прокси можно брать любые, в том числе и западные
2. Комбинацию "паузы + а_нти-капча". Просто а_нти-капча помогает плохо - Яндекс начинает требовать капчу на каждое обращение и получается все равно очень долго. Поэтому придется выставлять паузы, а_нти-капча будет "на подстраховке". Оптимальные параметры пока подбираю тестированием - давайте в топик писать о своих налюдениях
Всего доброго,
Никита Мелькин
Вообще гугл работает - напишите мне на почту подробнее, разберемся в чем у вас проблема
Да, обещал за неделю сделать, получилось за две - подзадержались. Завтра в течение дня будет обновление, будет возможность искать по регионам (до 5 регионов) и ********а
Semonitor добавил 26.04.2009 в 22:15
гм, а почему а-n-t-i-c-a-p-t-c-h-a заменилась звездочками?
Делать будем на этой неделе все. Прикрутим полноценный выбор региона.
Semonitor добавил 14.04.2009 в 18:25
На этой неделе будем делать. Вопрос - а ведь через xml сейчас можно смотреть московскую выдачу - чем не подходит в качестве временного варианта?
Вроде работает все. Напишите мне на почту подробнее
Без ложной скромности - но у нас лучшая определялка позиций из всех что есть :-)
1. Сейчас идет Анадырь - так что пока все не устаканится - проверять позиции вообще смысла не имеет. В каждом городе - свои позиции.
2. Несовпадение сейчас идет из-за использования xml. XML сейчас показывает московскую выдачу. Если отключите xml - будете видеть свою региональную.
А вообще - сейчас только ждать остается, пока Яндекс не закончит внедрение нового алгоритма
А в Semonitor - через xml проверка или нет? По идее сейчас Yandex.ru в семониторе должен показывать то же, что и при ручном поиске - т.е. у каждого свое.
А вот с xml - непонятно, у меня например (в Самаре) вчера давал московскую выдачу, сегодня еще не проверял
Тяжелый вопрос, все что знаю о проксях - www.semonitor.ru/proxy.html К сожалению полностью устраивающего вариента не нашел.
Понятно, это уже Анадырь надо полагать. Только только российский прокси - до тех пор, пока мы обновление не выпустим
Мы сейчас за всем этим наблюдаем и ждем пока все устаканится. Как только станет точно известно как все это работает - будем прикручивать выбор региона, давать возможность несколько Яндекс'ов проверять и т.д.
Это может некоторое время занять, но я думаю на след. неделе уже реализуем.
А сейчас все равно остается только выжидать - такой расколбас идет на Яндексе, что нужно ждать окончания внедрения нового алгоритма
Я так мыслю на след. неделе. Т.к.
1. "Будем подождать" - пока все устаканется и станет ясно, как выглядит "жизнь после Анадыря"
2. Нужно подумать как лучше сделать множественные Яндексы, можно ли организовать параллельную проверку - также прикрутить ********у - т.е. использование xml теперь теряет смысл. Т.е. сама реализация может некоторое время занять
Вот такие пироги
