_Snake_: Некоторые роботы могут маскироваться под роботов Яндекса путем указания соответствующего user-agent. Вы можете проверить, что робот является тем, за кого себя выдает используя идентификацию, основанную на обратных DNS запросах (reverse DNS lookup).
а смысл этих сложностей? если в юзерагенте указано что это бот, да пофиг абсолютно настоящий он или прикалывается ----------> путь один, нахрен 😂
---------- Добавлено 07.05.2015 в 11:06 ----------
TopperHarley: Еще заметил что у гуглбота не заполнен HTTP_ACCEPT_LANGUAGE, зато заполнен HTTP_FROM = googlebot(at)googlebot.com А у меня по всем барузерам(IE,Chrome,Opera,Firefox) HTTP_ACCEPT_LANGUAGE заполнен, а HTTP_FROM - пуст В общем все понятно, осталось взять и сделать ) Да и вообще давно пора
совнршенно правильно, и не только у гуглоботов,
и да интересна была бы такая фишка как фильтровать по HTTP_ACCEPT_LANGUAGE - к примеру мне надо показывать слив только тем юзерам, у кого мы определили язык как ru, остальных пускаем лесом.
vitvvs: Все что связано с js палится на ура самим браузером, как бы вы не кодировали js код - исполняет его браузер, и думаю хрому или яндекс браузеру не составит труда отправить нужную инфу куда надо
да и пусть отправляют, что с того? милионы сайтов ставят кукисы, проверяют гео и пр. 😂 а проводить техническо-логический анализ каждому говнокоду на каждом говносайте у гуглей голова опухнет 😂
TopperHarley: Проверить отключены ли кукисы можно только так: установить кукис через пых, а потом через js проверить есть ли кука. За 1 обращение к php скрипту никак не узнать отключены ли кукисы у посетителя, так как технически установка кукиса - это ли заполнение заголовка, отправляемого браузеру. А вот установилась ли она можно узнать только на 2м обращении, которое может произойти от второго посещения или от js скрипта.
Также и с шевелением мышкой - только js скриптом это можно узнать.
Вот только я не уверен что боты выполняют скрипты. А если выполняют, то это хитроботы, и им ничего не стоит и мышкой пошевелить и кукисы показать.
Вот и хз че тут сделать можно
TopperHarley: Поправил пост, внес в алгоритм ua и размещение ссылки.
Флеш думаешь стоит проверять? Я себе его уже года два не ставлю, щас вроде как мода на html5 )
да это необезательно впринципе.
---------- Добавлено 07.05.2015 в 00:22 ----------
TopperHarley, идея хорошая ))) ну хотелось бы конешно плюшек -
проверку и блеклист по юзерагенту;
проверку по лангу посетителя (в смысле если не можем определить язык клиента-значит бот)
ну и конешно ставить в футере ссылку для бот детекта как то хз, я бы наоборот её влепил куда нибудь самой первой в коде страницы, потому что не всякий бот доползет до футера ))
Realtyman: В каких случаях ключ не вставляется в текст при генерации?
Ну никак не могу добиться, чтобы в тексте ключи вставлялись
[TEXT-15-30/pt] такой макрос стоит для генерации текста
плотность стоит 5-7
да и вообще разные значения ставил, все равно ключ не попадает в текст
Advice: TopperHarley, а как можно сделать, чтобы одна из вариаций была статична на дор(т.е. одна вариация выбирается и используется на всех страницах)?{STAT} не подойдет, т.к. внутри есть макросы, а они должны быть динамичны.Вот практически уверен что такое уже есть.
Скажем хочу я сделать вариацию:
[|<h1>[BKEYWORD]</h1>|<h2>[BKEYWORD]</h2>|] и нужно чтобы на всех пагах дора был или h1 или h2.
Некоторые роботы могут маскироваться под роботов Яндекса путем указания соответствующего user-agent. Вы можете проверить, что робот является тем, за кого себя выдает используя идентификацию, основанную на обратных DNS запросах (reverse DNS lookup).
а смысл этих сложностей? если в юзерагенте указано что это бот, да пофиг абсолютно настоящий он или прикалывается ----------> путь один, нахрен 😂
---------- Добавлено 07.05.2015 в 11:06 ----------
Еще заметил что у гуглбота не заполнен HTTP_ACCEPT_LANGUAGE, зато заполнен HTTP_FROM = googlebot(at)googlebot.com
А у меня по всем барузерам(IE,Chrome,Opera,Firefox) HTTP_ACCEPT_LANGUAGE заполнен, а HTTP_FROM - пуст
В общем все понятно, осталось взять и сделать ) Да и вообще давно пора
совнршенно правильно, и не только у гуглоботов,
и да интересна была бы такая фишка как фильтровать по HTTP_ACCEPT_LANGUAGE - к примеру мне надо показывать слив только тем юзерам, у кого мы определили язык как ru, остальных пускаем лесом.
ну такую фичу конешно надо делать отключаемой.
Все айфоны боты. Средствами php ни как не узнать установлен ли на клиенте флеш, если клиент это сам не сообщит. А он вроде о таком не сообщает.
Хз как поведёт себя сенсор.
Нормально сенсор поведет, проверено,
а про остальное почитай для интересу http://javascript.ru/unsorted/id#javascript
Все что связано с js палится на ура самим браузером, как бы вы не кодировали js код - исполняет его браузер, и думаю хрому или яндекс браузеру не составит труда отправить нужную инфу куда надо
да и пусть отправляют, что с того? милионы сайтов ставят кукисы, проверяют гео и пр. 😂 а проводить техническо-логический анализ каждому говнокоду на каждом говносайте у гуглей голова опухнет 😂
Проверить отключены ли кукисы можно только так: установить кукис через пых, а потом через js проверить есть ли кука. За 1 обращение к php скрипту никак не узнать отключены ли кукисы у посетителя, так как технически установка кукиса - это ли заполнение заголовка, отправляемого браузеру. А вот установилась ли она можно узнать только на 2м обращении, которое может произойти от второго посещения или от js скрипта.
Также и с шевелением мышкой - только js скриптом это можно узнать.
Вот только я не уверен что боты выполняют скрипты. А если выполняют, то это хитроботы, и им ничего не стоит и мышкой пошевелить и кукисы показать.
Вот и хз че тут сделать можно
да, эти фишки на js разве что реализовать можно.
Поправил пост, внес в алгоритм ua и размещение ссылки.
Флеш думаешь стоит проверять? Я себе его уже года два не ставлю, щас вроде как мода на html5 )
да это необезательно впринципе.
---------- Добавлено 07.05.2015 в 00:22 ----------
Поправил пост, внес в алгоритм ua и размещение ссылки.
Ну так я про скрытые ссылки и написал же. Если с пустым анкором или анкором, никак не мотивирующим по нему переходить. Например таким: ©
я прямо на морде доров в верхнем углу ставил ссылку на страницу для отлова ботов типа "help" "faq"
ничем не скрытую - за два месяца ни одна зараза по ней кроме ботов так и непереходила 😂 нехотят люди хелпы читать, а хотят картинки с сиськами
ну в продолжение темы:
пустой рефер-----> бот
отключены кукисы -----> бот
нет поддержки флеша -----> бот
не шаволит мышкой -----> бот
ну не бот так вражеский шпион 😂
TopperHarley, идея хорошая ))) ну хотелось бы конешно плюшек -
проверку и блеклист по юзерагенту;
проверку по лангу посетителя (в смысле если не можем определить язык клиента-значит бот)
ну и конешно ставить в футере ссылку для бот детекта как то хз, я бы наоборот её влепил куда нибудь самой первой в коде страницы, потому что не всякий бот доползет до футера ))
В каких случаях ключ не вставляется в текст при генерации?
Ну никак не могу добиться, чтобы в тексте ключи вставлялись
[TEXT-15-30/pt] такой макрос стоит для генерации текста
плотность стоит 5-7
да и вообще разные значения ставил, все равно ключ не попадает в текст
попробуйте поставить галочку "старый алгоритм рассчета плотности!
незашто ))
TopperHarley, а как можно сделать, чтобы одна из вариаций была статична на дор(т.е. одна вариация выбирается и используется на всех страницах)?{STAT} не подойдет, т.к. внутри есть макросы, а они должны быть динамичны.Вот практически уверен что такое уже есть.
Скажем хочу я сделать вариацию:
[|<h1>[BKEYWORD]</h1>|<h2>[BKEYWORD]</h2>|] и нужно чтобы на всех пагах дора был или h1 или h2.
{SPROBLIST}{PROB-50%}<h1>[BKEYWORD]</h1>{/PROB}{PROB-50%}<h2>[BKEYWORD]</h2>{/PROB}{/SPROBLIST}