Вопрос дня! ROBOTS.TXT

12 3
AA
На сайте с 29.07.2007
Offline
66
1287

Один аккаунт в процессе обучения задал неординарный вопрос!

Внимание вопрос :idea:

Что будет, если robots.txt закрыть в robots.txt?

Mish-ka
На сайте с 08.06.2011
Offline
414
#1
ALTA:
Что будет, если robots.txt закрыть в robots.txt?

Встречный вопрос.

Каким образом?

Серч уже не торт => https://se.guru
ValD
На сайте с 14.06.2007
Offline
146
#2

Да ничего не будет, правила продолжат работать.

Robots в индексе и не должен присутствовать (как и xml-сайтмап).

AA
На сайте с 29.07.2007
Offline
66
#3

Естественно Disallow: /robots.txt 🚬

Оптимизайка
На сайте с 11.03.2012
Offline
396
#4

robots.txt не индексируется же, поэтому парадокс курицы и яйца тут не возникнет :)

А sitemap.xml в sitemap.xml не пробовали добавлять?

⭐ BotGuard (https://botguard.net) ⭐ — защита вашего сайта от вредоносных ботов, воровства контента, клонирования, спама и хакерских атак!
nn165m
На сайте с 05.08.2012
Offline
234
#5
Оптимизайка:
robots.txt не индексируется же, поэтому парадокс курицы и яйца тут не возникнет :)

А sitemap.xml в sitemap.xml не пробовали добавлять?

у меня карта сайта=ссылки на карту сайта для каждой категории.

все норм работает не?)

роботс в роботсе не закрыть бред

Хостинг от 150р./мес./самые адекватные саппорты:) ( http://beget.ru/?id=34668 ) Проверка ссылок огонь пушка как помогает:) ( https://checktrust.ru/r/979 )
LEOnidUKG
На сайте с 25.11.2006
Offline
1774
#6
Оптимизайка:
robots.txt не индексируется же, поэтому парадокс курицы и яйца тут не возникнет :)

Да? И выдаче нету?

https://www.google.ru/search?client=opera&q=inurl%3Arobots.txt&sourceid=opera&ie=UTF-8&oe=UTF-8#newwindow=1&q=inurl:robots.txt+filetype:txt&spell=1

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/ ✅ Настройка и оптимизация серверов https://getmanyspeed.ru/
nn165m
На сайте с 05.08.2012
Offline
234
#7

нет смысл в том что он же подгружаеться ботом, а потом уже попадает в индекс.

С одной стороны да, если подгрузить и в правилах роботс будет закрыт то допустим все системные папки файлы будут в индексе.

но все равно глупости какие то:)

Alvion
На сайте с 11.05.2012
Offline
78
#8

Да ПС уже пофигу, что вы там пишите.

AA
На сайте с 29.07.2007
Offline
66
#9

Мнения разошлись) Поле для эксперимента?

---------- Добавлено 21.11.2014 в 13:34 ----------

Alvion:
Да ПС уже пофигу, что вы там пишите.

Почему пофиг? Есть случаи, когда закрытые страниц/разделы не выпадают из индекса?

altezzik
На сайте с 06.11.2011
Offline
247
#10

Робот ведь все равно ходит по страницам закрытым в роботс. Другое дело, что не включает их в поиск. Да и к тому же, это ведь рекомендация всего лишь, которую он может и не исполнять.

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий