Недавно читал, что они учитываются для оценки общего профиля ссылок. Например, если на сайт указывают 100 ссылок и все они dofollow – это знак того, что сайт занимается скупкой ссылок. Если же поисковики видят что профиль нормальный и помимо вкусных для SEO dofollow ссылок есть и nofollow – это уменьшает вероятность попасть под всякие фильтры)
Ну и еще Гугл недавно сказал, что по их мнению атрибуты nofollow сейчас немного абьюзятся, поэтому они начали в некоторых случаях воспринимать такие ссылки как dofollow.
Из своих недавних наблюдений могу сказать, что записи в robots.txt полезны только если они вносятся ДО индексации ненужных страниц поисковиками. Если индексация уже прошла, то запись disallow делает только хуже! Гугл потом выдает предупреждение "indexed though blocked by robots.txt" и не увидит даже 301 редиректа если вы его поставите на страницу) Ну может месяца через 3-4 он и решит убрать страницу с индекса, но это так-себе timeframe.
Я после наблюдений изложенных выше убрал вообще все записи в robots.txt (кроме сайтмапа) и делаю теперь так:
1) Возвращаю HTTP Header "X-Robots-Tag: noindex". В принципе этого должно быть достаточно – в отличии от мета тегов которые гугл воспринимает как рекомендацию, HTTP Header X-Robots-Tag он воспринимает как директиву. Все же, так как поисковиков много и так как никто не знает как гугл будет обрабатывать эти хедеры в будущем делаю еще пару пунктов.
2) Ставлю meta тег no index.
3) Если речь идет о страницах типа "?sort=" со всякими сортировками фильтрами – canonical указывающую на главную страницу категории в meta теге и в HTTP Header.
Не знаю, может я и не прав, но я не вижу чем все эти disallow могут быть лучше чем правильно прописанные noindex :)
Да, согласен, метод спорный :) Но в некоторых случаях допустим:
1) Страницы из старой сайтмапы уже наверняка все в индексе. Так что их временное исключение не приведет к колоссальным потерям
2) Когда гугл решит пройтись по страницам из сайтмапа – если там 100% страниц по которым мы хотим чтобы он увидел редирект, то он будет подхватывать ридирект на каждом просмотре страницы из сайтмапа. Если же в нашей сайтмапе 50% нормальных страниц и 50% с 301 редиректом – частота попадания гугла на страницу с редиректом будет меньше)
Возможно моя логика на счет пункта 2 неверная. Но я так когда-то делал и не увидел никакой катастрофы – все старые страницы и так остались в индексе, поэтому мне кажется что как временная мера она допустима.
Наверное эта "глупая инфа" отсюда: https://support.google.com/webmasters/answer/1663419?hl=en
A successful request lasts only about 90 days
robots.txt тоже мимо*– если Вы поставите там disallow, то гугл просто не будет заново парсить эти страницы, но в индексе они останутся. Более того, самое обидное будет когда человек добавит 301 редирект, а гугл этого не увидит потому что запись disallow в robots.txt мешает ему скачать страницу. Я пишу из опыта – похожая проблема была, только не с subdomain, а со слешер в конце ссылок.
Как мне кажется самый лучший алгоритм действий такой:
1) Проверить чтобы все ссылки на сайте были правильными и вели на нужные страницы
2) Сделать чтобы все ссылки с subdomain делали 301 редирект на site.ru (я почти уверен что это можно сделать в .htaccess)
3) Перепишите свой sitemap.xml и вставьте в него только ссылки с tratata.site.ru которые гугл проиндексировал. Он тогда быстрее по ним пройдется и увидит 301 редиректы.
Подождите пару недель. После этого заходите в search console и смотрите в ручном режиме какие старые ссылки остались в индексе. Их уже должно будет быть не очень много. Начинайте вручную просить гугл переиндексировать их.
Когда закончите весь процесс – не забудьте вернуть sitemap.xml в правильный вид :)
Нет, это не работает. Я так пробовал – в итоге гугл оставил все страницы в своем кеше, а в Google Search Console у меня было предупреждение о том, что некоторые страницы проиндексированы не взирая на блокировку в robots.txt. Наверное, через длительное время он бы убрал эти ссылки.
Мне кажется способ лучше – либо возвращать ошибку при доступе к странице либо добавить noindex в HTTP header. Тут я не эксперт, но где-то недавно читал, что если noindex прописан в meta теге, то гугл воспринимает это как совет, а если в HTTP header, то воспринимает как директиву)
