Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Запретить сайт для индексации...

NikoX
На сайте с 19.04.2007
Offline
66
NikoX
425

Если в robots.txt будет следующий текст: 


User-Agent: *

Disallow: /contacts/

Disallow: /tmp/

Host: ispets.ru



User-Agent: *Yandex*

Disallow: *

Это запретит к индексации папки "contacts" и "tmp" для всех, а также запретит к индексации весь сайт для яндекса, правильно? :confused:

C уважением, Предводителев Сергей (VJiK)
С
На сайте с 04.03.2007
Offline
26
Стаcик
#1

хотя я точно и не помню, как надо правильно писать robots.txt

но точно помню, что яндекс в звездочки заключать не надо. это сто пудов!

остальное вроде правильно.

советую здесь почитать подробнее: http://robotstxt.org.ru/ ☝

HoSStiA
На сайте с 18.02.2004
Offline
144
HoSStiA
#2
NikoX:

User-Agent: *
Disallow: /contacts/
Disallow: /tmp/
Host: ispets.ru

User-Agent: *Yandex*
Disallow: *

все немного проще:


User-Agent: *
Disallow: /contacts/
Disallow: /tmp/

User-Agent: Yandex
Disallow: /

Директиву Host понимает только Яндекс, но мы ж его ... "того, бритвой по горлу" :)

motoman
На сайте с 11.05.2006
Offline
333
motoman
#3
NikoX:
запретит к индексации весь сайт для яндекса

для всех поисковиков

Cмотреть истории инстаграм анонимно - https://anonstories.online/ru Обзорная статья об этом: https://www.pro-smm.com/istorii-v-instagram-anonimno/

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий