А есть от этого какой то плюс сайту, в реале, что то изменилось, может больше посещаемость стала?
Заказывал, в целом доволен, спасиб!
А страницы для печати?
Тоесть закрыть от индексации страницы вида - http://site.ru/games/page/1/ и подобные?
А как же будет индексация новых страниц идти?
Какие еще есть мнения?
Где то слышал что их поисковики любят!
Не, это для задавания вопроса, а я хочу покаятся и попросить вернуть обнуленный pr сайта.
Может тогда так правильно будет -
User-agent: Yandex
Sitemap: http://site.ru/sitemap.xml
Host: site.ru
User-agent: Googlebot
User-agent: *
Disallow: /go/
Disallow: /stat.html
При этом папку "go" и файл "stat.html" закроет яндекс и гугль?
Кто-нить еще из гуру может подтвердить правильность написания?
И тем не менее, если остается желание сделать для гугля и яндекса, то вот так правильно будет -
Меня в этой записи смущает что нижняя часть повторяет получается как бы 2-е верхних?
Какая часть тут более приоритетна? Может быть можно последнюю часть как то прописать, типа для всех роботов кроме гугля и яндекса?
А есть от этого какой то плюс сайту, в реале, что то изменилось, может больше посещаемость стала?
Заказывал, в целом доволен, спасиб!
У меня все страницы идут через главную, поэтому я, за индексацию не волнуюсь.
Если у вас страницы не всегда через главную то ОК не закрывайте.
на page всегда идет движение страниц. 1-я новость на page-1 через 10 новостей (если у вас 10 на страницу) будет уже на page-2 и т.д.
Я решил бороться за качество, поэтому прикрыл всЁ нафик.
А насчет индексации есть и sitemap и внутренняя оптимизация, на новые страницы я ставлю ссылки из других статей по нужному анкору.
закрытие page* это не критическое замечание.
UPD
у меня закрыты и site.ru/page*
А страницы для печати?
Тоесть закрыть от индексации страницы вида - http://site.ru/games/page/1/ и подобные?
А как же будет индексация новых страниц идти?
Какие еще есть мнения?
Где то слышал что их поисковики любят!
Не, это для задавания вопроса, а я хочу покаятся и попросить вернуть обнуленный pr сайта.
Может тогда так правильно будет -
User-agent: Yandex
Sitemap: http://site.ru/sitemap.xml
Host: site.ru
User-agent: Googlebot
Sitemap: http://site.ru/sitemap.xml
User-agent: *
Disallow: /go/
Disallow: /stat.html
Sitemap: http://site.ru/sitemap.xml
При этом папку "go" и файл "stat.html" закроет яндекс и гугль?
Кто-нить еще из гуру может подтвердить правильность написания?
И тем не менее, если остается желание сделать для гугля и яндекса, то вот так правильно будет -
User-agent: Yandex
Disallow: /go/
Disallow: /stat.html
Sitemap: http://site.ru/sitemap.xml
Host: site.ru
User-agent: Googlebot
Disallow: /go/
Disallow: /stat.html
Sitemap: http://site.ru/sitemap.xml
User-agent: *
Disallow: /go/
Disallow: /stat.html
Меня в этой записи смущает что нижняя часть повторяет получается как бы 2-е верхних?
Какая часть тут более приоритетна? Может быть можно последнюю часть как то прописать, типа для всех роботов кроме гугля и яндекса?