Вопрос дня! ROBOTS.TXT

1 23
Solmyr
На сайте с 10.09.2007
Offline
501
#21

Отмечу, что обычно файл robots.txt не индексируется просто потому что на него нет ссылок. Если на него будут стоять ссылки - он будет индексироваться.

Geers
На сайте с 12.04.2011
Offline
487
#22
Solmyr:
Отмечу, что обычно файл robots.txt не индексируется просто потому что на него нет ссылок. Если на него будут стоять ссылки - он будет индексироваться.

На первой странице же показали что индексируется, не думаю что на них стоят ссылки. :)

sir Nicholas
На сайте с 18.04.2012
Offline
146
#23
богоносец:
Его содержимое при этом учитывается?.. по проиндексированному.
В сервисах для вебмастеров какие-то уведомления по этому поводу были?

Нет ничего не было и быть не могло. Документ ROBOTS.TXT сугубо для роботов ПС. На счет был ли раньше он в индексе, а после закрытия пропал, я не знаю. Но на 95% моих сайтов все тхт файлы у меня закрыты к индексации.

Gennadi
На сайте с 18.12.2012
Offline
138
#24
Solmyr:
Отмечу, что обычно файл robots.txt не индексируется просто потому что на него нет ссылок. Если на него будут стоять ссылки - он будет индексироваться.

это легко решается. заходишь на хостинг ставишь напротив роботса галочку. жмешь удалить.

и все😂

project33
На сайте с 30.04.2011
Offline
94
#25
богоносец:
Disallow: /sitemap.xml # когда-то пробовал, GWT и ЯВМ стали ругаться на запрет сайтмапа, эксперимент был прекращён.

sitemap.xml не закрывал, а вот robots.txt один раз пришлось закрыть, поскольку гугл начал показывать его в быстрых ссылках и это было совсем некрасиво...

богоносец
На сайте с 30.01.2007
Offline
753
#26
sir Nicholas:
Документ ROBOTS.TXT сугубо для роботов ПС.

Поскольку роботы поиском пользоваться не должны, по inurl:sitemap.xml filetype:xml тоже ничего искаться не должно, а бот щукин вам ещё объяснит, что XML-документы не индексируются и пр. блабла (и в Яндексе сайтмапов почти нет, но это не значит, что вам не соврали). Т.е. по таким простецким вопросам полезнее проводить проверки, чем верить в то, что это сугубо для роботов.

1 23

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий