Ну ещё загляните в ццц.бдбд.ру
<noindex>Поисковое продвижение и раскрутка сайтов</noindex>
<p>Bdbd (бдбд) — <noindex>поисковое продвижение и раскрутка сайтов</noindex>.
. .
У фф есть два способа просмотра кода. Или больше...
Более простой Ctrl+U
и другим браузером попробуйте то же самое.
Что именно?
А весь список фобий не изложите?
Что такое дубли?
Не приходило в голову, что новый просто не будет индекситься?
ps ТС, а что там у вас с причинами АГС? И вы тут не высказали каких-то реально использовавшихся способов...
А что, RSS ботами как-то используются?
Её просто не теми словами назвали /ru/forum/693357
Какие есть основания верить?
Мне вот попадались его слова, из которых следовало, что он просто не смотрел в то, про что отвечал.
В PR-...
Проще (дешевле и рентабельнее) объявить: Мы сделаем это, это и это!.. а через годик доделают что-то из ранее объявленного.
Тестирование продолжается более 6 месяцев.
На это он и расчитывает.
Напишите
User-Agent: * Disallow: Host: ваш-домен.ru
C www или без — смотрите, на какой адрес попадаете из выдачи Яндекса (а не на текст домена на странице выдачи).
Пример
http://www.bdbd.ru/robots.txt
http://www.bizvdkuat.ru/robots.txt
Это зеркала...
Если же вдруг склеит неправильно (ваш выпадет), то пишите платонам.
Что в вашем robots.txt и что в его? Host: ...
