Правильный robots.txt

HL
На сайте с 12.12.2012
Offline
118
656

Здравствуйте друзья. Озадачился написанием правильного роботса для крупного проекта - симбиоз 3х движков: WP+phpBB+ModX. Каждый движок отвечает за свою часть проекта. Проблем с индексацией не наблюдаю в данный момент. Отдаю всем поисковикам одни и те же страницы.

Роботс.тхт содержит 82 запрета на доступ роботу. Это не считая директивы Host и Clean-param для Яшки и Sitemap для Гугла.

В данный момент роботс прописан для всех поисковых машин. Подскажите пожалуйста, стоит ли его дробить на 3 части: для Гугла, для Яшки, для остальных ?

Спасибо.

P.S. Гуглил. Но так и не смог найти 100% обоснования, что надо делать так, а не иначе, исключая те моменты, когда надо яшке скормить одну часть сайта, а гуглу другую ...

- Дорогой выкуп баннерных показов (https://goo.gl/Haxr87). Советую! - СеоПульт (https://seopult.ru/ref/0c1642776e7e1b04) + крауд-ссылки (https://goo.gl/3eXcqn) = успех - Проверенный CashBack сервис (https://goo.gl/mAIbxw). До 30%
L
На сайте с 30.10.2015
Offline
34
#1

можно и заморочиться, но я не стал бы

...
Smart Shot
На сайте с 03.09.2015
Offline
66
#2
HotLab:
P.S. Гуглил. Но так и не смог найти 100% обоснования, что надо делать так, а не иначе, исключая те моменты, когда надо яшке скормить одну часть сайта, а гуглу другую ...

Помимо этого есть директивы, которые не понимают разные ПС. Например, clean-param весьма крутая штука, но Google ее не понимает. Поэтому можно сделать специально под Яндекс продублированный блок директив + clean-param, если он необходим.

SEO группа в ВК, где ответят на любой ваш вопрос! (https://vk.com/hello_seo_world) Книга по интернет-маркетингу (http://smartshot.ru/seo-dlya-seoshnikov/) Блог по SEO (http://smartshot.ru/blog/)
redbeatles
На сайте с 29.07.2010
Offline
149
#3

Ребят, подскажите.

Есть страницы, который заканчиваются на

"https://site.ru/product/category/type/product/buy",

их порядка 100 штук, как их безболезненно закрыть в роботс?

Disallow: */buy

Так?

При этом страницы вида: "https://site.ru/product/category/type/product"

нормально будут индексироваться?

Системы гарантированного электропитания. Проектирование. Пусконаладочные работы. Источники бесперебойного питания, генераторы, стабилизаторы напряжения.
wwwwww
На сайте с 29.04.2011
Offline
195
#4
HotLab:
Подскажите пожалуйста, стоит ли его дробить на 3 части: для Гугла, для Яшки, для остальных ?

Если правила общие - не нужно.

redbeatles:
Так?

Да.

Видишь? Свободная подпись.
redbeatles
На сайте с 29.07.2010
Offline
149
#5

Все окей, тулза от Яши подтвердила работоспособность данного роботс.

Я так понимаю, что Гугль может проигнорировать сию рекомендацию?

wwwwww
На сайте с 29.04.2011
Offline
195
#6
redbeatles:
Я так понимаю, что Гугль может проигнорировать сию рекомендацию?

Гугл понимает спецсимвол *, работать будет одинаково

https://support.google.com/webmasters/answer/6062596?hl=ru&ref_topic=6061961

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий