А нужен ли вообще robots.txt?

12
brinx
На сайте с 29.01.2009
Offline
9
772

Залез в поиск и нашёл пару статей на форуме на тему роботс.

Получается странная ситуация. Все говорят о важности нахождения на сайте сего элемента и прописании правильно указаний. Более того нашёл такое вот указание:

Имя файла должно быть в нижнем регистре (ROBOTS.TXT, Robots.txt — неправильно).

(все цитаты отсюда /ru/news/144)

Написано, что

Disallow

* В записи должно быть хотя бы одно поле Disallow;
* в поле Disallow указывается частичный или полный путь (URL), который не будет посещен;
* пустое значение (Disallow: ) интерпретируется как разрешение на посещение любой страницы;

Зашёл в Яндекс и набрал ключевое слово - одно из родственных моей теме.

Зашёл в пять первых сайтов и.....

В половине - нет файла robots.txt

Остальные весьма скромно пишут:

User-agent: *

Host: урл сайта

Никто не потрудился там прописать Яшу отдельно

Никто не пишет пустой disallow

Напрашиваются два вопроса:

1. нужен ли он вообще?

2. где найти точные правила прописания этого файла?

Спасибо!

Я не вебмастер Я - чайник, продвигающий (http://www.privatemsd.com)свои собственные (http://www.s-classclinic.com) сайты (www.antisemitam.net) Спасибо за терпение :)
Константинович
На сайте с 13.09.2008
Offline
319
#1
brinx:
1. нужен ли он вообще?

Он облегчает работу поискового робота.

brinx:
2. где найти точные правила прописания этого файла?

Почитайте здесь

Нужны финансы? Быстрая скупка (http://dragmettorg.com/skupka_zolota/). Цены на сайте. А потом отыграй из на казино онлайн правила (http://premium-games.ru/)
SAlex
На сайте с 27.07.2008
Offline
409
#2

И при этом для каждой ПС свои правила. То что для яндекс не на 100 процентов совпадает с тем что для гугл.

SF
На сайте с 11.10.2005
Offline
137
#3
brinx:
1. нужен ли он вообще?

потребность в robotse, mysql, php, javascript, ajax и других вещах связаных с сайтостроительством возникает тогда когда они нужны.

Если вы считаете что они вам не нужны, значит не нужны.

Как возникнит в них надобность, так освоите и поставите...

поисковики всегда спрашивают robots.txt и favicon.ico, желатель их положить хотя бы для того чтобы не возникало 404 кода на сервере.

robots.txt может быть вообще пустым файлом...

favicon можете делать на скорую руку здесь www.favicon.ru и тоже залейте в корень сайта, есть-пить они не просят, но у вас не будет возникать 404 код на сервере когда поисковики будут их спрашивать.

Инструкция: Как Правильно Делать Сайты: Домен, Хостинг, Установка CMS (http://www.3sd.ru/kak-delat-site/index.php).
gechev
На сайте с 27.08.2007
Offline
96
#4

На функционирование сайта robots.txt влияние не оказывает. Сугубо, как уже отмечалось, для поисковиков...Поэтому если нет в нем надобности можете его не создавать...

brinx
На сайте с 29.01.2009
Offline
9
#5
SellingFeis:

robots.txt может быть вообще пустым файлом...

favicon можете делать на скорую руку здесь www.favicon.ru и тоже залейте в корень сайта, есть-пить они не просят, но у вас не будет возникать 404 код на сервере когда поисковики будут их спрашивать.

очень полезная инфа! спасибо!

фавикон чисто интуитивно уже догадался что нужно - стоит

спасибо всем!!

Cranking
На сайте с 30.11.2008
Offline
172
#6

robots.txt - нужный файл, наличие его на сайте вообще считается хорошим тоном, я например с подозрением отношусь к сайтам где его нету.

Аудит сайта и консультации по продвижению и оптимизации. (/ru/forum/568390) Дешевле чем у других форумчан на форуме, много отзывов (моя тема)
wlad2
На сайте с 17.07.2008
Offline
114
#7

пример нужно брать с авторитетных сайтов !

K
На сайте с 31.01.2001
Offline
737
#8
wlad2:
пример нужно брать с авторитетных сайтов !

Почему-то вспомнилась басня "Мартышка и очки" :).

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
brinx
На сайте с 29.01.2009
Offline
9
#9
wlad2:
пример нужно брать с авторитетных сайтов !

да уже посмотрел я сей фал ещё до первого поста в тему..

и зачем мне такой тюнинг в саратовском зоопарке (с) 😂

kav
На сайте с 21.02.2006
Offline
159
kav
#10
wlad2:
пример нужно брать с авторитетных сайтов !

но даже и тут есть АшЫПка...

В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву "Crawl-delay" необходимо добавлять в группе, начинающейся с записи "User-Agent", непосредственно после директив "Disallow" ("Allow").

http://help.yandex.ru/webmaster/?id=996567#1022359

Gray, незачет 🙅

Я знаю только то, что ничего не знаю © Сократ а когда я забываю даже это, вспоминаю про..... Форум - это такое место, где 2-е людей могут убедить в своих заблуждениях тысячи
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий