вопрос про robots.txt

Nicon:

> Как робот Яндекса отреагирует на такую запись?

Согласно стандарту + директива Host.

Кстати, Вам еще следует поинтересоваться по поводу того, как на такой файл отреагирует Рамблер.

Следующий скрипт пока официально не существует, и дизайн к нему не приделан, но в форуме Яндекса я про него уже упоминал:

http://kako.yandex.ru/cgi-bin/test-robots

В дальнейшем должен отвечать по адресу www.

Раз уж моё имя упомянули в суе :), то проведу короткий ликбез по содержимому robots.txt.

robots.txt из записей, которые разделяются пустыми строками.

Так же допустимы коментарии, которые начинаются с #.

Каждая запись состоит из одного или нескольких полей User-Agent и одного или нескольких полей Disallow. Два и более полей User-Agent

в одной записи трактуются как одинаковые права доступа для этих роботов.

У каждого поля может быть одно и только одно значение.

По очень простой причине. Мне никто не запрещает назвать моего робота скажем "Aport is better than Yandex and Google and StackRambler" :)

Если бы допускалось несколько значений в поле, да ещё и пробелами разделёнными, то мой робот можно было бы запретить только одновременно с вышеперечисленными роботами :).

Однако, перечисление нескольких полей User-Agent в одной записи не рекомендуется - просто когда возникнет желание развести роботов по разным углам будет меньше шансов наделать ошибок.

Что-то там не так :) ... Ибо результат противоположный с http://www.searchengineworld.com/cgi-bin/robotcheck.cgi ... Тот robots.txt, что я проверял, на Яндексе ничего не запрещает, а по той ссылке, что я дал, явно показаны все запрещенные к индексации документы... Вы под каким юзер-агентом проверяете, если не секрет? :) ...

> Вы под каким юзер-агентом проверяете, если не секрет? :)

Вместо того, чтобы задавать глупые вопросы :), лучше бы привели свой robots.txt, а я бы его обругал.

добавил смайлик

Вопрос, надеюсь, не такой глупый, как кажется - всем юзер-агентам разный robots.txt выдается, поэтому и спрашиваю :) ... Но вам должен выдаваться правильный :) ...

------------

User-agent: *

Disallow: /guestbook/

Disallow: klmn.html

-------------

Чего тут ругать-то? :) ...

Это зачем 😕

Не уж-то трудно один на всех написать? Тут как раз об это и полемика идет ;)

Денис, 😎

Вообще-то наш user-agent обязательно содержит слово yandex в качестве case-insensitive подстроки.

> Чего тут ругать-то?

Ну вот, скажем,

Disallow: klmn.html

можно поругать. Да Вы и сами можете поругать, после RTFM :).

Вот еще непонятная задачка. Есть страницы:

http://www.domain.ru/result_details_print.asp?id=479

http://www.domain.ru/result_details.asp?id=479

Страниц, понятно, от 1 до 479. Надо запретить к индексации страницы, содержащие print.

Аналогично,

http://www.domain.ru/result_details.asp?come=0&id=479

http://www.domain.ru/result_details.asp?id=479

Надо запретить к индексации страницы (их опять же 479) с come=0.

Как это правильно сделать?

Экспериментирую, а тут, как назло, Addurl глючит - выдает ответ Ошибка добавления URL (код 1112) () 😕

Из раздела The Format:

Если бы была возможность поменять result_details_print.asp к примеру на print_result_details.asp, тогда можно было бы написать:

Disallow: /print_

Хорошо, поставлю вопрос иначе. Если запретить к индексации

Disallow: /result_details_print.asp

то не запретится ли к индексации result_details.asp?id=... ?

И второй случай:

Disallow: /result_details.asp?come=0&id=

то не запретится ли к индексации все тот же result_details.asp?id=... ?

Ау! Cherny, AiK, выручайте, плз 🍻