Чтобы предотвратить сканирование страниц вашего сайта, но сохранить отображение объявлений AdSense на этих страницах, запретите доступ всех роботов, кроме Mediapartners-Google. Это предотвращает появление страниц в результатах поиска, позволяя роботу Mediapartners-Google анализировать страницы, чтобы определить, какие объявления нужно показывать. Робот Mediapartners-Google имеет отдельный доступ к страницам, независимый от других агентов Google. Рассмотрим пример.
В вебмастере яндексовском вроде есть уведомление, что был апдейт ТИЦ. Но алгоритм его работы я не знаю
Какой нафиг алгоритм? Яндексоиды парсят что-то на определение своего же апдейта ТИЦ?
DeaDreamer, мы следим за тобой.
либо (если валидность принципиальна) переверстайте сайт под html 5.
Зачем хтмл 5?
Какой вопрос о поисковых системах задать хотел, сердешный? Завязывай с грибами.
И как теперь жить без этого документа?
или он вообще бездвижковый?
Конечно, голый хтмл. Включая форум.
User-agent: *
Disallow: /
User-agent: MediaPartners-Google
Allow: /
http://www.google.com/support/webmasters/bin/answer.py?hl=ru&answer=156449&from=40367&rd=1
Какой такой регулярный выражений? Моя твоя не понимай.
И да. Во втором посте такой директивы совсем не существовало... Чудо.
Нет такой директивы Allow.
Смешно было, ага...
http://www.google.com/support/webmasters/bin/answer.py?hl=ru&answer=156449&from=40367&rd=1
Её не нужно запрещать.
Как называются индивиды, которые фанатично собирают говно по интернетам, а потом фанатично его там же рассеивают?