Форум Практика оптимизации Частные вопросы - ранжирование, индексация, бан

Гугл проиндексировал сайт с запретом в robotse

Amigo_9876
На сайте с 01.04.2009
Offline
328
Amigo_9876
460

Делаю новый сайт, по типу существующего. Скопировал его полностью на новый домен, и сразу же прописал в роботс.тхт 

User-agent: *

Disallow: /

Disallow: /search.html

Disallow: /search.html*

Disallow: /company/

В яндексе сайта нету. А вот гугл проиндексировал около 800 страниц. Блин!

TES
На сайте с 22.07.2007
Offline
597
TES
#1

Обычная практика. Дело в том что роботс это рекомендательная функция, а не обязательная и Гугл часто добавляет в индекс запрещенные страницы. А вот директива noindex работает лучше.

maximka77
На сайте с 15.10.2011
Offline
245
maximka77
#2

С гуглом такое часто бывает, лично я уже привык.

- Базы чатов и каналов Телеграм ( https://base-top.ru/ ) - Недорогие ссылки с форумов (https://cutt.ly/swQDFZWx)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий