Зачем моему сайту нужен robots?

garri kaspar
На сайте с 05.10.2007
Offline
111
501

На одном форуме мне сказали, что моему сателиту (в подписи) не хватает какого-то robots. Я так подозреваю, что это какой-то тег. А зачем он нужен моему сателиту?Что, разве без него не обойтись?

Strem
На сайте с 13.12.2007
Offline
144
#1
garri kaspar:
На одном форуме мне сказали, что моему сателиту (в подписи) не хватает какого-то robots. Я так подозреваю, что это какой-то тег. А зачем он нужен моему сателиту?Что, разве без него не обойтись?

Ну чего ж там не распросили подробнее? А вообще - ВОТ ТУТ вся инфа 🚬

greenwood
На сайте с 08.09.2003
Offline
519
#2
garri kaspar:
не хватает какого-то robots

он нужен только в одном случае, когда надо что-то запретить к индексации поисковым ботом

В остальном он не нужен

Gleb
На сайте с 13.03.2006
Offline
46
#3
greenwood:
В остальном он не нужен

А еще его можно поставить пустой в корень сайта на пару с favicon'ом чтоб в логах было поменьше записей о 404. Это для тех кто следит за своим сайтом пристально.

kimberlit
На сайте с 13.03.2007
Offline
370
#4

robots.txt нужен для:

1. запрет (разрешение в гугле и яндексе) к индексации директорий или отдельных файлов.

2. указания Яндексу на главное зеркало сайта. Host:

Лучше чтоб он был в наличии в корне сайта, т.к. некоторые роботы обращаются к нему в первую очередь.

Цахес
На сайте с 15.03.2007
Offline
205
#5
kimberlit:
robots.txt нужен для:
1. запрет (разрешение в гугле и яндексе) к индексации директорий или отдельных файлов.
2. указания Яндексу на главное зеркало сайта. Host:

И всё?

garri kaspar, если нечего запрещать к индексации, разместите в корне сайта robots.txt, разрешающий всем роботам индексировать все ресурсы сайта, чтобы не забивать лог ошибок ненужной информацией.

- Хорошие и плохие тексты для ваших сайтов (http://www.textsale.ru/team57397.html). - Удаленная работа. Вакансия копирайтера/рерайтера. (http://advego.ru/6myq8sgvKk) - Быстрое составление семантического ядра (https://topvisor.ru/?inv=39380).
mastserg
На сайте с 14.04.2005
Offline
108
#6
Постоянно покупаю места под статьи, много (/ru/forum/188576)
kimberlit
На сайте с 13.03.2007
Offline
370
#7
Цахес:
И всё?

Вам это мало?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий