Как правильно прописывать Disallow

48

Kokoc

17 августа 2002, 19:00

1917

Доступ к моему сайту на хостинге имеет вид: /home/u5794/domen.com/www/. Что мне надо сделать, чтобы правильно запретить директорию к индексированию в robots.txt файле:

1) Просто прописать Disallow: /directory/

2) Прописать это следующим образом: Disallow: /home/u5794/domen.com/www/directory/

Со службы поддержки хостинги мне ответили, что нужно писать в robots.txt именно второй вариант, но меня мучают сомнения.

T

17

tymon

17 августа 2002, 20:22

#1

Disallow: /domen.com/www/directory/

257

AiK

18 августа 2002, 08:17

#2

tymon

ты скорее всего не прав, т.к. спайдер, впрочем как и любой другой домен не имеет никакого понятия о внутренней структруе сервера.

Kokoc

второй вариант сработает только в том случае, если для того, чтобы попасть в директорию /directory/ нужно набрать в браузере

http://blabla.com/home/u5794/domen.com/www/directory/

Конечно бывают и такие пути, но их создают только с большого перепоя :)

Мнемоническое правило - все пути должны прописываться от той директории, где лежит robots.txt, т.е. от HTTP_ROOT (в твоём случае это /home/u5794/domen.com/www).

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие

K

48

Kokoc

18 августа 2002, 09:03

#3

AiK, спасибо!

Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ

VK приобрела 70% в структуре компании-разработчика red_mad_robot