Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Скажите пожалуйста нужен ли robots.txt

Novoselsky
На сайте с 17.04.2007
Offline
80
Novoselsky
509

Скажите нужен ли в корне сайта ставить robots.txt для улучшение возможно индексации поисковиками? Или еще для каких целей? Может ли он улучшить поднятие поискового траффа?

Вот заметил просто пример как у некоторых этот файл прописан, для контекстного движка DLE. 

User-agent: *

User-agent: Mediapartners-Google*

Disallow: /engine/

Disallow: /engine/modules/

Disallow: /engine/inc/

Disallow: /engine/data/

Disallow: /engine/cache/

Disallow: /engine/editor/

Disallow: /language/

Disallow: /uploads/



Disallow: /user/

Disallow: /index.php?do=

Host: website.ru/

Вообще напишите зачем в кратце использовать robots.txt К чему он может привести хорошему или плохому?

Cranking
На сайте с 30.11.2008
Offline
172
Cranking
#1
Novoselsky:
Скажите нужен ли в корне сайта ставить robots.txt для улучшение возможно индексации поисковиками?

Нужно.

Novoselsky:
Или еще для каких целей?

Для чего он нужен ищите в поиске.

Novoselsky:
Может ли он улучшить поднятие поискового траффа?

Нет не может.

Аудит сайта и консультации по продвижению и оптимизации. (/ru/forum/568390) Дешевле чем у других форумчан на форуме, много отзывов (моя тема)
[Удален]
#2

У меня на ДЛЕ ваще ничего не прописано :D

Постоянно забываю для печати закрыть, и всё

Pisarev_OS
На сайте с 06.10.2008
Offline
149
Pisarev_OS
#3

Использование robots.txt вообще уже должно в привычку войти. Привыкайте :)

Нужны мобильные прокси? (https://vk.cc/cmaHBE) ЖМИ!
yanus
На сайте с 21.01.2009
Offline
348
yanus
#4

в таком виде как у вас, стоит запрет на индексацию служебных страниц (точнее движка ДЛЕ). если учесть, что у сайтов на движке ДЛЕ они будут практически одинаковые, то не закрыв их от индексации, поисковая система может посчитать, что на вашем сайте полно копипаста, а это может помешать хорошей индексации.

да и никому не нужны служебные страницы в выдаче поисковика.

так что лучше robots оставить.

[Удален]
#5
yanus:
в таком виде как у вас, стоит запрет на индексацию служебных страниц (точнее движка ДЛЕ).

Служебные - это какие?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий