disallow в роботс.тхт: запрет чтения страницы вообще или только добавления в индекс?

M
На сайте с 18.05.2009
Offline
108
351

Что конкретно предписывает директива disallow в роботс.тхт? Она запрещавет вообще доступ к странице или запрещает лишь ее добавение в индекс, не препятствуя ее загрузке, переходу по ссылкам с нее и тп?

Будут ли проиндексированы посты на сайте, если на них ведут лишь ссылки аноносов, что размещены в категориях, страницы которых в свою очередь запрещены в роботс.тхт?

secondary
На сайте с 20.12.2012
Offline
142
#1

Запрет доступа робота к определенным документам

Seo аудит сайтов. Консультации. Качественная внутренняя оптимизация. (/ru/forum/803695) Полная подготовка проектов с нуля! Оптимизация готовых сайтов.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий