Закрытие страницы от индексации в robots.txt

Ilana
На сайте с 05.02.2012
Offline
66
1385

Здравствуйте!

Если я закрою определенную страницу в файле robots.txt, она не будет индексироваться Яндексом и Гуглом, или все-же будет?

DI
На сайте с 04.10.2011
Offline
13
#1

Не будет.

Чтобы запретить доступ робота к некоторым частям сайта или сайту целиком, используйте директиву 'Disallow'

http://help.yandex.ru/webmaster/?id=996567

cheredov
На сайте с 07.04.2011
Offline
125
#2
Ilana:
Здравствуйте!
Если я закрою определенную страницу в файле robots.txt, она не будет индексироваться Яндексом и Гуглом, или все-же будет?

По крайней мере в индексе этой страницы быть не должно.

Иван Чередов (http://ivan.cheredov.com/about/)
Ilana
На сайте с 05.02.2012
Offline
66
#3

Хорошо, еще вопрос.

У меня все файлы которые надо закрыть находятся в папке.

Надо просто закрыть папку

Disallow: /папка

или закрывать каждый файл?

Disallow: /папка/файл.php

cheredov
На сайте с 07.04.2011
Offline
125
#4
Ilana:

Disallow: /папка

Запрет на все страницы, начинающиеся на /папка.

Ilana
На сайте с 05.02.2012
Offline
66
#5

Спасибо за помощь!

---------- Добавлено 20.09.2012 в 13:28 ----------

Еще вопрос.

У меня ссылки на эти страницы которые я хочу закрыть стоят на странице. На этой странице их заключать в noindex или они и так не будут проиндексированы и Яндекс не сможет на них попасть и прочитать их?

Members
На сайте с 13.09.2012
Offline
85
#6

Гуглом будет индексироватся если на страницу ссылаются, без снипета и сохраненной копии, более подробно почитать можно тут http://support.google.com/webmasters/bin/answer.py?hl=ru&answer=156449

Хотя Google не сканирует и не индексирует содержание страниц, заблокированных в файле robots.txt, URL, обнаруженные на других страницах в Интернете, по-прежнему могут добавляться в индекс. В результате URL страницы, а также другие общедоступные сведения, например текст ссылок на сайт или заголовок из каталога Open Directory Project (www.dmoz.org), могут появиться в результатах поиска Google.

Украинский хостинг ukraine.com.ua (http://www.ukraine.com.ua/?page=19684) - самое выгодное и качественное решение на сегодня.
Ilana
На сайте с 05.02.2012
Offline
66
#7
Members:
Гуглом будет индексироватся если на страницу ссылаются, без снипета и сохраненной копии, более подробно почитать можно тут http://support.google.com/webmasters/bin/answer.py?hl=ru&answer=156449

А Яндексом?

Members
На сайте с 13.09.2012
Offline
85
#8
Ilana:
А Яндексом?

Яндексом не наблюдал подобное, не индексирует.

cheredov
На сайте с 07.04.2011
Offline
125
#9
Members:
Хотя Google не сканирует и не индексирует содержание страниц, заблокированных в файле robots.txt

Я вот экспериментом подтвердил обратное. Страница запрещена, на ней стоит ссылка, робот по ней ходит и цель ссылки в индексе, хотя других ссылок на нее нет. Так что не сильно то им верьте.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий