Как простому пользователю, мне все ПС отстоем кажутся.
Хочу отдельные:
ПС- международный
ПС- страны
ПС- области
ПС- города
HorrorDrug, правильно!
Если так редко будут апдейты, то яндекс будет просто вредной привычкой.
Добрый день!
Подскажите, плизз, почему у многих в robots.txt отдельный блок правил для яндекс?
( при этом общие правила не отличаются от блока правил для яндекса)
Это большое уважения к роботу яндекса или как?
Просто у меня нет особых правил для яндекса, нужно ли дублировать блок для User-agent: Yandex? На что влияет этот дубль?
