vados_dp

Рейтинг
0
Регистрация
26.01.2014
Как в гугл попали страницы закрытые в роботс?
DjekLondon:
robots.txt - это фйл с рекомендациями, а не с обязательными правилами индексации.
вот мета тег Noindex обязателен

Всем спасибо. Короче курить мне еще и курить ету тему=)

Как в гугл попали страницы закрытые в роботс?
GKC:
1) зачем вторая строка?
2) ИМХО, оба неверны, я сделал так:

User-agent: *
Crawl-delay: 10
# Directories
Disallow: /includes/
Disallow: /misc/

И все равно гугл может найти, а может пометку "запрещено к индексации высветить" - произвол у них там )

Спасибо, попробую=) Можно еще вопрос?=)