Баг или ошибка в robots.txt ?

12
siv1987
На сайте с 02.04.2009
Offline
427
#11
GulfstreamG650:
Мне нужно полностью закрыть от индексации сайт для Яху, но открыть страницу с HTML картой сайта и чтобы робот Яху индексировал ссылки только через страницу карты сайта.

Какие ссылки "индексировались" если вы все закрыли от индексации? Что за логика, закрыть весь сайт, чтобы сайт индексировался через карту сайта. Если не хотите, чтобы бот лазил по всем ненужным страницам запретите конкретно их, либо откройте нужные для индексации, например только страницы новостей Allow: /index.php?newsid= карта сайта и чего-то там еще, а все остальное запретите Disallow: /

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий