Форум Практика оптимизации Любые вопросы от новичков по оптимизации

ТИц с www и без в Yandex

12
Serboy
На сайте с 29.09.2005
Offline
94
Serboy
#11

bart67, если вы не хотите ничего сообщать роботам, то можете не заводить robots.txt. Значит, все разрешено.

B6
На сайте с 28.02.2006
Offline
2
bart67
#12

Serboy, спасибо, Вы меня успокоили. А то я как вижу эти разговоры про robots.txt, начинаю нервничать - вдруг мне он тоже нужен, а я не в курсе... Значит, не нужен! :)

Злыдень
На сайте с 14.01.2003
Offline
114
Злыдень
#13

bart67, вот может что вам пригодится...

Весьма распространено, когда веб-сервер при ошибке 404 (Файл не найден) выдает клиенту особую страницу. При этом веб-сервер не выдает клиенту код ошибки и даже не делает редиректа. В этом случае робот не понимает, что файл robots.txt отсутствует, вместо этого он получит html-страницу с каким-то сообщением. Конечно никаких проблем здесь возникнуть не должно, но стоит ли рисковать? Бог знает, как разберет робот этот html-файл, приняв его за robots.txt. чтобы этого не происходило, поместите хотя бы пустой robots.txt в корневой каталог вашего веб-сервера.

прочел только что вот тут - http://www.webmascon.com/topics/adv/8a.asp

Куплю ссылки с ресурсов тематика Строительство (Желательно ЯК).
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий