Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Пару вопросов по robots.txt

12
O
На сайте с 01.04.2005
Offline
9
Ombudsman
#11
Vetra:
Повторю вопрос Bomassа

Остаются все, кто выше записи User-agent: * <br>Disallow: / :)

O
На сайте с 01.04.2005
Offline
9
Ombudsman
#12
Cherny:
User-agent: Aport

User-agent: Googlebot

User-agent: StackRambler

Disallow: /ua/link

Disallow: /ua/click



User-agent: *

Disallow: /

Спасибо! :)

Извиняюсь конешна, но не могли бы Вы указать источник информации, это не недоверие, поймите правильно, играться с редакцией данного файла - непозволительная роскошь, а попробовать как фурычит нет можливости, т.е. хочу "7 раз отмерить и раз отрезать" 🙄

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
C
На сайте с 19.09.2001
Offline
120
Cherny
#13
Извиняюсь конешна, но не могли бы Вы указать источник информации...

Не вопрос. Вот стандарт, в нем можно найти следующие фразы:

The record starts with one or more User-agent lines, followed by one or more Disallow lines, as detailed below.
...
If more than one User-agent field is present the record describes an identical access policy for more than one robot.

Выделение мое.

С уважением, Владимир Чернышов. (не)?путевые заметки (http://chernyshov.kiev.ua/)
O
На сайте с 01.04.2005
Offline
9
Ombudsman
#14
Cherny:
Не вопрос. Вот стандарт, в нем можно найти следующие фразы:

Выделение мое.

Благодарю! :)

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий