Форум Практика оптимизации Любые вопросы от новичков по оптимизации

robots.txt

1 23
cheredov
На сайте с 07.04.2011
Offline
125
cheredov
#21
wlad2:
+1
ну если поставят внешнюю ссылку на страницу закрытую в robots.txt, то она все равно попадет в поисковый индекс.
Правильнее будет закрывать мета тегом <META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">

Не все равно, а ВОЗМОЖНО попадет. Далеко не все в DMOZ и далеко не со всеми такие исключения случаются.

kimberlit:
Правда что ли?
Масол:
Это сокровенное знание ))))))))))))))))))))))))))))
Kost:
заведомо ложная информация (пост 10) без какого либо обоснования.

Обоснование привести сложно, но я попробую и поставлю эксперимент. Результаты расскажу. Сейчас можно только сослаться на справку Google - Блокирование сканирования Google

Следует отметить, что даже если вы запретите поисковым роботам сканировать содержание вашего сайта с помощью файла robots.txt, возможно, что Google обнаружит его другими способами и добавит в индекс. Например, на ваш контент могут ссылаться другие сайты.

Кстати, еще робот ходит на закрытые страницы на которых есть клики на +1, правда в выдаче Google они пока не замечены. Эксперимент с меня.

Иван Чередов (http://ivan.cheredov.com/about/)
Апдейты Google могут влиять В отчетах Google Ads Экспериментальный поиск Google: ответ
M
На сайте с 11.03.2008
Offline
53
mnzul
#22
kimberlit:
А Google уже на Host перешёл? Давно?

мы тут разговор ведём об robots по этому я и не конкретизировал что изменил написание домена в параметре host в виде unicode.

чтобы не возникало подобных вопросов напишу подробнее:

1. Домен в зоне РФ (имя на кириллице)

2. Прописал в robots.txt имя домена и адрес к sitemap в unicode виде, т.к. Яндекс не особо дружить с кириллицей (по крайней мере с картой)

3. Т.к. до этого значение host было прописано кириллицей и гугл индексировал сайт можно ли изменить host на unicode или лучше прописать host в unicode только для яндекс агента?

Допустимо ли использование кириллицы в robots.txt, если нет unicode будет альтернативой?

Gmail и Яндекс.Почта начали Появился сервис, позволяющий протестировать Google работает над багом
1 23

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий