Гугл не поддерживает Host в robots.txt?

Гугл не поддерживает Host в robots.txt, поставьте 301 редирект с www на без www, если вы этого ещё не сделали, и всё будет в норме.

Вообще то именно в этих тулзах можно напрямую указать основное зеркало.

Там это называется основной домен.

про редирект я сказал, что сделал

просто удивило, почему гугль не юзает такую широкоиспользуемую штуку 😮

к тому же, у меня есть проект, в котором гугл запутался с "www.":

- на сайт 80% ссылок идут с www., в хостах записано тоже с "ввв.", редирект стоит, в вебмастерах преферед домен тоже стоит на ввв.

но вот в гугле все адреса идут без ввв, и при "site:www.domainname.com" тоже ничего не возвращает (без ввв - 120 доков, сайту уже 4 месяца).

самое обидно, что на вебмастер туле показывает, что около 30% страниц имеют медиум пейджранк, а на тулбарном всё ПР0 :( - и по результатам выдачи видно, что сайт ещё под фильтрами.

вобщем буду ждать и надеятся на лучшее

Директиву Host придумал Яндекс - больше никто про нее не знает

Если у вас сервер Apache, то можно вместо использования директивы Host задать robots.txt с использованием директив SSI:

<!--#if expr=" \"${HTTP_HOST}\" != \"www.ebanners.ru\" " --> 

User-Agent: * 

Disallow: / 

<!--#endif -->  

В этом файле роботу запрещен обход всех хостов, кроме www.ebanners.ru

Раз Вы пользуетесь Webmaster Tools, то должны знать, что там можно явным образом указать, какой именно из Ваших доменов показывать в выдаче - с www или без. Возможно, это Вам поможет.

я уже упомянул тут, что пользуюсь тулзами.

но они не работают (поправка: плохенько работают) + гугл очень часто путается (не удевительно - ведь у него много работы)

для примера:

есть средний проектик (10,000 уникальных страничек), на него один горе-сабмитер сабмитил линки как с ввв, так и без ввв (возможно причина не в этом)

клиентом выбран домен без ввв.

я это поставил в начале сентября в тулзах, как и редирект.

выполняем в гугле сайт:имядомена.ком - первый снипет (главная) без ввв, ВСЕ остальные с ВВВ. на тулзах - самый высокий рейтинг у странички с ввв, в ноябре уже без ввв.

вот мне и интересно, как гугль вразумить.

надеюсь покупка ПР5-6 ссылок + дир.Яху ему поможет

если есть советы - буду рад :)

SEManiak, я не понял, Вы воспользовались настройкой Diagnostic -> Preferred domain или нет?

йес, для всех сайтов выставил нужный вормат с или без ввв.

всего в веб-тулзах сайтов 20

в двух из них гугл прикольнулся

может пригодится такой выход :) :

1. использовать две секции в роботс.тхт:

2. В настройках гугл-sitemap есть переключатель - основное зеркало

"c www / без www" (good, что выставлен :) )