Думаешь лучше всем юзерам и первому индексирующему боту показывать какая у тебя красивая кнопка слива на весь экран? Можно в индекс вообще ни разу не попасть )---------- Добавлено 07.05.2015 в 18:18 ----------
Не, ты погоди. Давай уже развеем мифы. Эту ситуацию нужно проработать глубже.
На всех нормальных сайтах куча контента меняется каждый день в страницах. Любой DLE или WP взять - у него посты скролятся на главной, облака тегов меняются.
Это ж не значит что чекающий бот им всем поставит галочку "ага, тут клоака"
Слив даже при наличии клоаки не обязан быть агрессивным.
В общем мнения разделились.
Скажу свое мнение. Я не верю в клоакинг по useragentу.
Да, честные боты можно фильтрануть по useragent.
Но не честные(шифрующиеся) боты будут пойманы по переходам на скучный анкор.
И вот тут клиент-серверная связка клоакинга позволит раздать адрес этого нечестного бота на всю свою сеть.
Единственное что тут является проблемой - гуглхром, который спалит слив юзера.
Но в случае с обычными безклоачными дорами этот факт слива фиксируется постоянно, так что от скрипта клоакинга точно хуже не будет.
Не?
дадада, я выше про это писал. бот не банится а просто ему не показываем слив
прям мания какая-то
Помоему да, в бан навеки.
даю стране угля. мелкого, но много. будет. в LinkAParser'e уже есть и в pb прикрутим.
Спокуха, этого мы делать не будем. Идея была в том чтобы диапазоны добавлять только в сервер по паблик спискам ботов .
Допустим в сервер внесен диапазон, а клиенты подтянули себе эти обновления автоматически. Генерить диапазоны из единичных адресов не нужно.---------- Добавлено 07.05.2015 в 16:26 ----------
Мне кажется это нереально. В диапазоне будет дофига дырок.
Идея была в том что если на сервер конкретный ip попал в диапазон то забирать себе весь диапазон.
А не в том чтобы генерить диапазоны на лету.
твой бот просто слива не увидит - ну и нафиг он ему нужен?
Боты не банятся, а вносятся в блэклист же. И просто потом если бот в блэклисте, то ему не показывается кусок шаблона. Или наоборот еу показывается ченить дполнительное.
В общем слово google в реверсном днсе - это не повод для блэклиста. А вот googlebot - да.---------- Добавлено 07.05.2015 в 13:14 ----------
Логично, записал
Посмотрел, вот че дает турбо режим: google-proxy-66-249-81-129.google.com
Скриптам дора обратный резолвинг делать будет тяжко, но можно разнести логику.
То есть брать логи апача, выгружать в утилитку, а она возьмет ipы без дублей и сделает многопоточный обратный резолвинг.
Всех вычисленных ботов оптравляем на сервер в server.php ---------- Добавлено 07.05.2015 в 13:00 ---------- А вот яндекс бот заполняет язык:
[HTTP_ACCEPT_LANGUAGE] => ru, uk;q=0.8, be;q=0.8, en;q=0.7, *;q=0.01
[HTTP_FROM] => support@search.yandex.ru
[HTTP_USER_AGENT] => Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
Немного сложнее
