Форум Практика оптимизации Любые вопросы от новичков по оптимизации

disallow: /robots.txt

Павел Горбунов
На сайте с 13.06.2011
Offline
123
Павел Горбунов
526

Что может означать disallow: /robots.txt

в файле robots.txt ?

Не стремитесь сделать лучше - улучшайте!
Marti7856
На сайте с 16.02.2010
Offline
134
Marti7856
#1

По логике вещей это запрет на индексацию файла robots.txt.

Если вы путешествуете, возможно Вас заинтересует гид (https://dreamguide.world/countries/) на русском языке!
A
На сайте с 03.04.2010
Offline
179
askary
#2

он и так не индексируется

VoV@
На сайте с 22.09.2007
Offline
196
VoV@
#3
Marti7856:
По логике вещей это запрет на индексацию файла robots.txt.

Внутри файла robots.txt? 😂

⭐ Разработка Андроид-приложений (Xamarin C#). ⭐ Разработка ASP.NET (WebForms, MVC, WebAPI, Core). ⭐ Цой жив!
богоносец
На сайте с 30.01.2007
Offline
768
богоносец
#4

А вы погуглите robots.txt

Вот, чтобы этого не искалось, пишут disallow: /robots.

Но если написать что-то типа disallow: /sitemap.xml

то на это будет ругань в WMT и ЯВМ. Дальше не пробовал...

Павел Горбунов
На сайте с 13.06.2011
Offline
123
Павел Горбунов
#5
А вы погуглите robots.txt
Вот, чтобы этого не искалось, пишут disallow: /robots.

Но если написать что-то типа disallow: /sitemap.xml
то на это будет ругань в WMT и ЯВМ. Дальше не пробовал...

не понял.

погуглите robots.txt - в каком смысле?

в Google иногда файл robots.txt попадает в индекс.

богоносец
На сайте с 30.01.2007
Offline
768
богоносец
#6

Ну вот чтобы не попадал... пытаются это запретить. Какой-то другой мистики искать не надо, наверное.

Дмитрий Удимов
На сайте с 05.05.2010
Offline
274
Дмитрий Удимов
#7
Павел Горбунов:

погуглите robots.txt - в каком смысле?

https://www.google.ru/search?newwindow=1&q=robots.txt

Там в индексе ссылки на сами файлики

Топвизор — аккредитованный регистратор доменов .ru и .рф (https://topvisor.com/ru/domain-registration/) — честная цена 299 руб. за регистрацию и продление.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий