Проверка бота Яндекс-гугл. Есть ли что-то готовое ?

У меня есть наблюдения по попадании сайтов в бан после захода с IP резолвящихся без слов яндекса.

переставайте делать говносайты. http://help.yandex.ru/webmaster/robot-workings/check-yandex-robots.xml все четко написано, остальное лирика и фантазии.

Уточните, где в Яндексе четко описано, что такое "говносайт"?

И почему после переноса нормального сайта на забаненный домен сайт вдруг тоже попадает под санкции?

Вы ведь технический специалист, да ?

Давайте тогда перестанем фуфло гнать, и начнём информацией делится.

Речь идет о настройках leaky bucket у nginx.

Вы ведь оказываете по-моему даже услуги по настройкам lamp, ведь должны знать что это такое ?

Будем исходить из посыла, что знаете.

Если не знаете, то вкратце: это механизм позволющий ограничивать отдачу в сторону

ip по признаку "время".

***

Задача сводится к тому, чтобы ПАУКАМ Я+Г отдавать столько, сколько они хотят,
а пользователям не более ХХ страниц в минуту.

Я еще раз задам вопрос: У вас есть личные наблюдения, что бот яндекса заходил с
ip не связанных с яндексом по имени и при этом пытался забрать страниц больше,
чем типичный пользователь ? Что он себя при этом вел как бот-индексатор ?

Что антиклоакинг и прочие сервисы не будут приходить с "подписанных" адресов

для меня очевидно, определять их не требуется, их обслужат как обычных пользователей,

я не верю, что они будут рефрешить страницы ежесекундно, в яндексе не дебилы сидят...

_SP_, зачем вы на Andreykу так жестоко наехали, он же помочь хотел. У него семья, нужно сигой светить, админить, детей и жену кормить.

Я лично сам не понял с самого начала вашей задачи и не сделал вывода о том, что нужно выделить ботов-индексаторов. Даже больше - я понял вашу задачу только из последнего сообщения.

Мир, братья. Не нужно сраться.

Задача сводится к тому, чтобы ПАУКАМ Я+Г отдавать столько, сколько они хотят,
а пользователям не более ХХ страниц в минуту.

Ах, это-то. Ну так у меня давно работает готовое решение, которое позволяет регулировать выдачу по IP/UA/ETC.

Поделитесь со мной какой-то ценной информацией, а я поделюсь с вами своим решением.

Спасибо за предложение, но

1. Не вижу смысла гадать, какая информация вам нужна :), полного реестра своих знаний "на продажу" не имею.

2. Меня не устраивают решения, которые вы тут предлагали, и тот уровень "аккуратности в идеях", который был продемонстрирован меня тоже не очень вдохновляет. Особенно не вдохновляет то, что на прямые вопросы вы так и не ответили.

3. Мне не нужно ваше самописное решение, я ищу готовое open source, есть надежда что оно будет качественным и продуманным.

ЗЫ. И да, впаривать свои знания на возмездной основе в паблике... нехорошо.

---------- Добавлено 19.06.2014 в 16:11 ----------

Да мир-то оно мир. Но нафигаж он пишет не читая даже последнего сообщения-то :) ?

Просто отсебятину какую-то... ты про илью, он про ерёму.

И заметьте, даже на предельно чёткий вопрос он не ответил.

Лишь предложил "меняться". Чудесная позиция надо сказать.

ЗЫ. Я к слову сказать, готов купить готовый код. Вопросов нет.

Если его разработка будет дороже.

Но я не готов купить "секретное решение" в смысле "алгоритма",

т.е. вся алгоритмическая часть должна быть изложена в коммерческом предложении.

И краткое описание способов реализации тоже.

Но тут иллюзий не строю, вероятно придется самому за несколько часов налабать, чем

в тоннах чужого г-кода разбираться, за него как обычно еще и захотят XXXX$.

Именно поэтому хотелось что-то готового "от комьюнити", там обычно код поудобоваримее,

чем "в поделках".

PSS. В целом с задачей-то всё понятно, не очень понятно как это лучше всё в nginx

засунуть, но наиболее непонятно почему там этого УЖЕ нет "из коробки", ведь без этого

пользоваться этим "ведром" довольно затруднительно.

Мое решение - это конфиг nginx

Но раз мой уровень вас не устраивает - не буду навязываться

Увы, в приведенном выше стиле не устраивает.

---------- Добавлено 20.06.2014 в 14:54 ----------

ЗЫ. Погуглил еще, вероятно надо лепить на основе http://flant.ru/projects/nginx-http-rdns,

хотя как оказалось там есть втроенный в нгиксе резолвер вроде как с кешем (resolver).

БУдет время - займусь.

Ну и тут, можно почитать

/ru/forum/787626

чтобы так сказать "списки знаний на продажу не составлять" :)

Но это решение по-прежнему не нравится.