Robots .txt на маленьком сайте

N4
На сайте с 22.09.2014
Offline
102
503

Привет:popcorn:

стоит ли ставить robots.txt на не большой сайт ( 12 стр. текстового контента не много )

или лучше вообще не создавать его ?

Оптимизайка
На сайте с 11.03.2012
Offline
396
#1

В любом случае файл полезен, т.к. там можно для яндекса указать директиву host, дабы избежать случайной переклейки. Ну и в логи мусорить 404-ыми не будет :)

⭐ BotGuard (https://botguard.net) ⭐ — защита вашего сайта от вредоносных ботов, воровства контента, клонирования, спама и хакерских атак!
secondary
На сайте с 20.12.2012
Offline
142
#2

Для галочки, если только.

Что там будет? 5 строчек?

Seo аудит сайтов. Консультации. Качественная внутренняя оптимизация. (/ru/forum/803695) Полная подготовка проектов с нуля! Оптимизация готовых сайтов.
Alex Klo
На сайте с 15.06.2006
Offline
304
#3
secondary:
Для галочки, если только.
Что там будет? 5 строчек?

это мнение ленивого дилетанта.

роботс нужен прежде всего для безопасности жизни вашего сайта: чтобы не переклеили, чтобы в ПС не было лишних страниц и т.д.

Проверка и мониторинг позиций сайта ( http://www.topvisor.ru/?inv=1520 ) Продвигаю сайты http://climat-nw.ru/conditioner-installation/ http://www.aircom-spb.ru/service/montaj/
TA
На сайте с 23.05.2011
Offline
36
#4

Если не сложно, то лучше сделать. И посетителям и поисковикам с ним комфортнее.

Talisman13
На сайте с 20.01.2007
Offline
211
#5

net44, потратить пять минут на составление robotsa ведь не проблема?

Так что составляй.

tigrik-anapa:
И посетителям и поисковикам с ним комфортнее.

А что посетители стали обращать внимание на robots.txt???

Продвинутые нынче пользователи. :D

Психиатр
На сайте с 16.11.2010
Offline
360
#6
Talisman13:
А что посетители стали обращать внимание на robots.txt???
Продвинутые нынче пользователи. :D

Посетителям еще как комфортнее. Посмотрели в роботсе что профили закрыты от поисковых и не стали спамить.

Zegeberg
На сайте с 30.09.2010
Offline
306
#7
12 стр. текстового контента не много

На каждую прилепить по три дубля и хватит для старта. А админка, а host.... Нужен он, нужен.

Ссылки с форумов, блогов и соц сетей ( https://forumok.com/p/c1710b6b/ ) Создание, настройка и ведение РК Директ
Talisman13
На сайте с 20.01.2007
Offline
211
#8
Психиатр:
Посетителям еще как комфортнее. Посмотрели в роботсе что профили закрыты от поисковых и не стали спамить.

Ну так те не посетители, а спамеры...

Ingvarr
На сайте с 26.04.2009
Offline
452
#9

сделайте Robots .txt, это не трудно и не долго.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий