Кто что не выдаёт? Файл сам скачали? На хостинг в корень залили? По прямому урлу открылся?
Вообще-то, это вы должны подтвердить Яндексу свои права на сайт))
А за такую формулировку вопроса, даже со скидкой на третье января, надо запрещать смотреть мультики в течение недели!))
Каким способом пытаетесь подтвердить права? Пробовали другие способы? Когда пробовали через файл подтвердить, после заливки на хостинг он открывался по прямому урлу?
Пустую строку я бы вставил.
В целом, всё правильно: сначала для мэйловского робота, потом общее.
ТС, глянул ваш robots.txt и сразу в глаза бросился один момент:директива host.
Цитирую отсюда:
Т.е. перенесли бы вы host пониже))
Имхо, у меня обычно в гугле всегда при продвижении дела обстоят лучше. Поэтому ссылочное для меня важнее для запросов в Яндексе. По этой причине ссылки с сайтов, которые выпали из Яши, удаляю сразу.
А зачем спрашивать это на форуме, когда можно спросить у техподдержки?
Сейчас опять начнутся рассуждения, нужно ли дублировать правила для Яндекса)))
ТС, загрузите в панель вебмастера Яши, там можно протестировать файл.
Если бегло глянуть, то:
1) Disallow: /*?* и Disallow: /*? одно и тоже.
2) Disallow: /category/*/* тоже вызывает какие-то сомнения...
3) Disallow: /trackback и Disallow: */trackback, второй вариант включает первый.
Но это только бегло))
Можно полистать технический словарь))
Кроме частотности, не менее значимым фактором является конкурентность.
Перелинковка хороша для НЧ НК запросов.
rel="nofollow" используется и яшей и гуглом.
<noindex></noindex> только для яндеска и подходит для скрытия текста и прочей информации.
Так что только параметр rel="nofollow".
