Что сие означает в robots.txt

CB
На сайте с 08.04.2013
Offline
11
585

Доброго времени!

Подскажите плиз, после установки сайта на cms, файл роботс содержит в том числе и такие вот "нестандартные" строки, гугл не помог особо:

User-agent: Updownerbot

Disallow: /

User-agent: URLpulse

Disallow: /

User-agent: SEOkicks-Robot

Disallow: /

User-agent: URLmetrics

Disallow: /

Подскажите плиз что это за фигня, и стоит ли ее убирать?

Гран мерси!

viasat
На сайте с 24.08.2005
Offline
92
#1

Запрет индексирования конкретными роботами.

CB
На сайте с 08.04.2013
Offline
11
#2
viasat:
Запрет индексирования конкретными роботами.

Это понятно), вопрос - что за роботы?...нужные или спам?

viasat
На сайте с 24.08.2005
Offline
92
#3

Я бы сильно не парился по этому поводу :) нигде такое не практикую.

CB
На сайте с 08.04.2013
Offline
11
#4
viasat:
Я бы сильно не парился по этому поводу :) нигде такое не практикую.

т.е. вообще удалить эти записи?...меня собственно насторожило URLmetrics - вдруг полезная штука, хотя, с другой стороны яндекс.метрика в шаблоне сайта код стоит...поэтому скорей всего... это попахивает какой-то шпионской фигней сбора моей статистики)).... т.е. мб и оставил бы данный запрет

viasat
На сайте с 24.08.2005
Offline
92
#5
Caballo Borracho:
т.е. вообще удалить эти записи?...меня собственно насторожило URLmetrics - вдруг полезная штука, хотя, с другой стороны яндекс.метрика в шаблоне сайта код стоит...поэтому скорей всего... это попахивает какой-то шпионской фигней сбора моей статистики)).... т.е. мб и оставил бы данный запрет

Я бы удалил и всё. Все это ни к чему :) Статистика все равно доступна только Вам в Метрике и собирается она не через "робота-обходчика".

LEOnidUKG
На сайте с 25.11.2006
Offline
1774
#6
Это понятно), вопрос - что за роботы?...нужные или спам?

В гугле ответов нет да?

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/ ✅ Настройка и оптимизация серверов https://getmanyspeed.ru/
L
На сайте с 07.12.2007
Offline
351
#7
Caballo Borracho:
меня собственно насторожило URLmetrics - вдруг полезная штука, хотя, с другой стороны яндекс.метрика в шаблоне сайта код стоит...поэтому скорей всего... это попахивает какой-то шпионской фигней сбора моей статистики))

Может быть и полезная, только вот для кого?

Роботам от систем, которые не дают трафика на ваш сайт - нечего делать на сайте.

И, роботы, которые собирают "шпионскую статистику" - не читают роботс.тхт, их приходится банить на уровне .htaccess, конфигурации web-сервера или движка сайта.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий