Вопрос дня! ROBOTS.TXT

123
Alvion
На сайте с 11.05.2012
Offline
78
#11
ALTA:


Почему пофиг? Есть случаи, когда закрытые страниц/разделы не выпадают из индекса?

Есть случаи, когда закрытые страницы входят в индекс. Они "на всякий случай" все кушают, особенно Google.

A
На сайте с 20.08.2010
Offline
775
#12
Alvion:
Есть случаи, когда закрытые страницы входят в индекс.

Это уже не случаи, это давно правило для яндексбота. Алгоритм включения в индекс закрытых страниц непонятен.

богоносец
На сайте с 30.01.2007
Offline
736
#13
ValD:
Robots в индексе и не должен присутствовать (как и xml-сайтмап).

Пробовали сайтмап закрывать?

ALTA:
Естественно Disallow: /robots.txt 🚬

https://www.google.ru/search?q=filetype%3Atxt+inurl%3Arobots.txt%E2%80%8E+%22Disallow%3A+%2Frobots.txt%22

Ниполучаетца http://www.google.com/search?q=site%3Awww.moeglydesign.com%2Frobots.txt+%22Disallow%3A+%2Frobots.txt%22%E2%80%8E

Solmyr
На сайте с 10.09.2007
Offline
501
#14
ALTA:
Один аккаунт в процессе обучения задал неординарный вопрос!

Внимание вопрос ☝
Что будет, если robots.txt закрыть в robots.txt?

Его считает ПС и не будет его индексировать.

The WishMaster
На сайте с 29.09.2005
Offline
2530
#15
ALTA:

Что будет, если robots.txt закрыть в robots.txt?

Логика мне подсказывает, что для того, чтобы прочитать эту инструкцию, роботу нужно будет скачать роботс.

Пешу текста дешыго! Тематики - туризм, СЕО, творчество, кулинария, шизотерика :)
project33
На сайте с 30.04.2011
Offline
94
#16

индексация robots.txt и выполнение директив robots.txt это как бы разные вещи. гугл считает robots.txt, согласно директиве не будет его индексировать, однако все директивы будет продолжать отрабатывать

---------- Добавлено 22.11.2014 в 02:13 ----------

богоносец:
Ниполучаетца http://www.google.com/search?q=site%...xt%22%E2%80%8E

там какой-то пипец с кодами...

Disallow: /robots.txt‎
богоносец
На сайте с 30.01.2007
Offline
736
#17

Да, действительно, а в другом примере нет пустых строк между секциями.

Ну тогда можно попробовать.

project33:
индексация robots.txt и выполнение директив robots.txt это как бы разные вещи

Теоретически да, но

Disallow: /sitemap.xml # когда-то пробовал, GWT и ЯВМ стали ругаться на запрет сайтмапа, эксперимент был прекращён.

Но на закрытость роботса ругаться наверное не должны, хотя не пробовал.

sir Nicholas
На сайте с 18.04.2012
Offline
139
#18
ALTA:
Один аккаунт в процессе обучения задал неординарный вопрос!

Тоже мне учитель. А ученик молодец, подловил гуру. 😂

Файл robots.txt используется для управления индексированием сайта поисковыми роботами!!!

Geers
На сайте с 12.04.2011
Offline
487
#19
ALTA:
Один аккаунт в процессе обучения задал неординарный вопрос!

Внимание вопрос ☝
Что будет, если robots.txt закрыть в robots.txt?

Вопрос на вопрос: А зачем? :)

богоносец
На сайте с 30.01.2007
Offline
736
#20
sir Nicholas:
Я на многих сайтах закрываю файлы txt от индексации.

Его содержимое при этом учитывается?.. по проиндексированному.

В сервисах для вебмастеров какие-то уведомления по этому поводу были?

123

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий