falco: itin, Геннадий0, MASTAKILLA, а где можно взять список рабочих прокси? Желательно русских (или это не принципиально?)
Всегда беру тут:
http://www.leader.ru/secure/ там ссылочка есть.
Однако есть еще одна небольшая проблема. Яндекс не очень любит прокси и иногда ругается, что "с этого IP" заходить нельзя :) Во всяком случае раньше там было.
Если вы будете парсить выдачу раз в день, то никто вас не забанит.
Еще раз повторяю, представляйтесь в юзерагенте известным браузером.
Qwert: Всё почти что нам нужно на первой странице.
Если все что нужно, то оставьте контент морды, и все будет нормально. Но если Вас волнуют заходы с яндекса на остальные странички, то здесь могут быть проблемы, поскольку другой движок - другой способ формирования урлов. Придется с мод реврайтом повозиться или долго ждать пока все заново переиндексируется.
Геннадий0, какое количество обращений
Не думаю что кто-то пытался пробовать найти эту цифру :D Кстати, soucer прав.
Какие ссылки использовать? С www или без?
Спасибо
В краткосрочном лучше с www, в среднесрочном по барабану, поскольку Яндекс склеит www и без www, через определенное время если контент одинаков.
itin, Геннадий0, MASTAKILLA, а где можно взять список рабочих прокси? Желательно русских (или это не принципиально?)
Всегда беру тут:
http://www.leader.ru/secure/ там ссылочка есть.
Однако есть еще одна небольшая проблема. Яндекс не очень любит прокси и иногда ругается, что "с этого IP" заходить нельзя :) Во всяком случае раньше там было.
Если вы будете парсить выдачу раз в день, то никто вас не забанит.
Еще раз повторяю, представляйтесь в юзерагенте известным браузером.
Вопрос:
как защитить IP от бана Яндексом?
Парсить через прокси. И представляться Эксплорером.
обычно эт оделается так - переходим на новый двиг. но продолжаем по возможности обрабатывать старые урлы
Еще вариант, формировать на старых урлах хтмльный редирект на соответствующие новые. Тоже на время. ИМХО и яндексу понравится.
Господа, большая просьба не отклоняться от изначальной темы. Мне совет нужен, а не перепалка в теме 🚬
Всё почти что нам нужно на первой странице.
Если все что нужно, то оставьте контент морды, и все будет нормально. Но если Вас волнуют заходы с яндекса на остальные странички, то здесь могут быть проблемы, поскольку другой движок - другой способ формирования урлов. Придется с мод реврайтом повозиться или долго ждать пока все заново переиндексируется.
надо не платону, а лере писать :)
Сенкс, и ей написал, если вы имеете ввиду суппорт@яндекс....
Bor-ka, сори, видимо меня спутала фраза
"по IP - это домен Яндекса, как написал топикстартер".
... miscsearch3.yandex.ru (по названию вижу что что-то с музыкой связано, с поиском, хотел бы уточнить)?
misc - это не music, а miscellaneous, что занчит "разное".