Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Robots.txt

K
На сайте с 21.09.2008
Offline
74
Krieg
828

С рождеством всех!

Site auditor сообщил мне об отстутствии файла robots.txt. Яндекс Вебмастер пишет "Не удалось загрузить robots.txt.". Использую движок Wordpress, до этого robot.txt был (сам я его не прописывал, наверное сам wordpress или какой-нибудь плагин к нему). Обязателен ли этот файл для того, чтобы поисковик мог полноценно работать с моим сайтом ?

panic
На сайте с 04.07.2008
Offline
187
panic
#1

не обязателен, поисковик и без него сможет полноценно работать с Вашим сайтом, а с помощью этого файла Вы сможете управлять этой полноценной работой :-)

Цифровая мастерская kr.digital (http://kr.digital) - дорого!
AK
На сайте с 13.03.2008
Offline
94
A_Kulik
#2

Собственно без этого файла поисковики могут наиндексить кучу всякого мусора. Зависит от корявости настройки движка.

Рефки все кончились.
TS
На сайте с 07.05.2008
Offline
53
talya_s
#3

Я делаю Robots.txt. Чтоб поисковик не индексировал неинформативных страниц (а то начнет в корзины лазать, в какие-нибудь чисто служебные папки - больно надо).

В следующей жизни я стану Бэтменом
alexspb
На сайте с 14.11.2005
Offline
187
alexspb
#4

Krieg, сделайте, хуже не будет, можно те же css и js если есть в отдельную папку положить и закрыть, да и лог ошибок почище будет

K
На сайте с 21.09.2008
Offline
74
Krieg
#5

Спасибо всем. Создам этот файл и начну искать в форумах по вордпресу, что же мне нужно закрыть от поисковиков.

Delarante
На сайте с 13.07.2008
Offline
69
Delarante
#6

Недавно уже была тема, посмотрите, может Вам пригодится - /ru/forum/285143

organic
На сайте с 07.11.2004
Offline
141
organic
#7

с небольшим уточнением, вместо

Disallow: /wp-admin

Disallow: /wp-includes

и так далее, можно указать просто

Disallow: /wp-

Yeah, well, I'm gonna go build my own theme park, with blackjack and hookers. In fact, forget the park!

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий