Расширенный синтаксис robots.txt

E

13

eugeniak

22 июля 2011, 17:19

1036

Недавно занялась закрытием дублей страниц и выяснила, что для Яндекса синтаксис robots.txt очень расширен.

Подскажите, что из этих команд допустимо для Гугла?

Может, где-то есть подробное описание.

Что будет, если использовать данный синтаксис для всех веток, а не только для Яндекса?

185

Z-Style

22 июля 2011, 18:18

#1

Можете разделить отдельно директивы для Яндекса.

А вообще, если другие ПС не понимают директивы - пропускают их.

A

3

ascent

22 июля 2011, 19:09

#2

директиву Host (и возможно Clean-param) google не учитывает. Остальное все работает и для google тоже

166

Pavel Medvedev

22 июля 2011, 19:10

#3

Гугл не следует директивам яндекса, но совершенно корректно читает такой роботс.

Ради красивого кода нет смысла отдельно писать роботс для яндекса и остальных ПС.

Есть шанс что какой-нить Байду или бразильские поисковики переклинит от такого роботса и они проиндексируют сайт не следуя директивам - но оно нужно?

Консультирую по SEO. Опыт c 2005: окна топ1,Ашан,Фишки,Спортс и др. Пишите в FB.

gamezgateway.com - проиндексирована всего Robots.txt - как правильно! Подскажите, Гугл всегда забивает