Как распознать клоакинг?

Можно вообще своего бота написать. Он бы прошелся по страницам, отдал бы заголовки Я и дело с концом.

Потом только сравнить то, что скачано с тем, что есть в реале

wayfarer, мде... смириться с убиенной фаерфокс значительно проще и дешевле, чем делать свой собственный скрипт...:)

К тому же скриптом по сайтам ходить неудобно наверное...;)

Я вот хожу по сайтам, и с удивлением обнаруживаю даже засчиту построенную на юзерагентах.

Весьма серьёзные сайты, а стоит представиться гуглом, так они сразу контент и отдают...

Закос под бота - бесполезная трата времени. Нормальный клоакинг делается кроме юзер-агента еще и по ip-адресу бота. Как его будете подделывать? Единственный надежный вариант - через кеш поисковика.

NULL,

Через ip spoofing конечно же:)

На самом деле, конечно же подделка бота только по заголовку проканает не везде. Но к счастью, не все ставят дополнительную привязку к IP.

правильно - ботом выбираешь кэш гугла и сравниваешь.

А можно пример таких сайтов?

NULL, ушло в ЛС.

robots.txt можно посмотреть и проще - "глазами Яндекса":

http://www.yandex.ru/cgi-bin/test-robots?host=имя_сайта