если для статистики, а не для клоакинга то просто в user-agent это ищи "Googlebot/2.1 (+http://www.googlebot.com/bot.html) " или это "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
Так он их дарит всем, а от подарка не культурно отказываться.
но его петр конечно страшен.....
пр3 это хорошо конечно.......
но насколько конкурентный запрос?
как раскручивали?
видит ли он бекварды?
сколько он их видит ?
и тд и тп
слишком много вариантов
Боюсь у них конкуренция большая будет, большинство интернет-изданий и так право-либеральные, одна gazeta.ru чего стоит.....
Есть серьезные запросы по которым вылезают сайты с помощью обмена ссылками плюс сквозные ссылки со своих сайтов.
может разные дата-центры?
естественно без охраны....
вы к каждому омоновца поставите?
на то он и поисковик что бы шарится везде....
а по роботс.тхт вот статейка
http://www.searchengineworld.com/robots/robots_tutorial.htm
Яха видит 161.....
а как активно ставились ссылки?
понравился 3-й
обычно первым делом от шума избавляются, а на этой картинке как раз
линии букв за шум фильтры могут принять.
но все имхо я по маш графу 3 имел))
