Индексация паролированого сайта

12
GFF
На сайте с 18.09.2006
Offline
38
GFF
#11
Sayros:
Вчера только при просмотре онлайн пользователей у себя на форуме обнаружил, что гуглбот читает личные сообщения:)

Это довольно-таки известный эффект, связан с тем, что Вы наверняка не прописали запрет просмотра личных сообщений в robots.txt, а ограничиваетесь тем, что для их прочтения нужна авторизация.

Вот бот и обращается к этой странице, получая в ответ предложение авторизоваться.

Не поленитесь, заполните robots.txt :)

crys
На сайте с 01.09.2006
Offline
57
#12

seospy, робот Яндекса зайдет туда, куда может зайти обычный посетитель вашего сайта. Естественно запароленная часть не будет проиндексирована.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий