Он этого не боится. У него траф не с поиска.
Но свой robots сделал доступным (200 ОК) по всем зеркалам. Это так не гуглу нужно, а нестандартному яндексу.
Если вас ищут ещё и Яндексом...
И /robots.txt должен отдавать 200 ОК, т.е. вы должны его видеть в браузере по всем зеркалам (протоколам.субдоменам),
а не 301 на главное.
Ну найдите сеошный сайт (по =продвижение сайтов яндекс=) и полазьте по всем его зеркалам/robots.txt
User-agent: * Disallow: Host: www.my-site.com Sitemap: http://www.my-site.com/sitemap.xml
В случае с HTTP протокол не указывается, только при HTTPS, ну читайте бота щукина по сцылке на поиск...
Нет.
В примере с яндексовским роботсом 200 ОК отвечается по всем зеркалам. Ну хотя бы Яндексу. Т.е. он не так же себя ведёт, как Гугл (идущий по 301 в случае /robots.txt)
Ну т.е. если вам Яндекс тоже важен, то с ним всё не так, как с Гуглом, прочитайте его хелп про склейку и пр.
И добавите в .htacces исключение для robots, типа
RewriteCond %{SERVER_PORT} ^443$
RewriteCond %{REQUEST_URI} !^/robots.txt$
RewriteRule .* http://%{SERVER_NAME}%{REQUEST_URI} [R=301,L]
c без www на www сами... или в ТП. А потом проверьте ответы сервера по всем зеркалам/robots.txt
В хелпах однозначно написано, что это разные сайты.
-http://mysite.com
-https://mysite.com
ещё два сайта.
Если у вас 301 со всех таких ведёт на единственно правильное зеркало, не беспокойтесь. Не ждите, что искалки склеят всё именно так, как удобно вам. Они сделают как им удобно...
И отдельно обратите внимание на доступность для Яндекса одного и того же файла robots.txt
(с одной и той же Host) по всем редиректящим зеркалам
http://yandex.ru/robots.txt
https://yandex.ru/robots.txt
http://www.yandex.ru/robots.txt
https://www.yandex.ru/robots.txt
А то завтра ещё тему заведёте https://www.yandex.ru/yandsearch?text=%D0%BF%D0%B5%D1%80%D0%B5%D0%B7%D0%B4+HTTPS
Как это можно взвесить / проверить?
Дайте гарантию, что завтра мне не посыплются SMS про сбер.деньги яндекс.пиццу и почту.NL
ТС, в хелпах ПС такие страницы однозначно советуют закрывать в robots
Может посадку сделать и на searchengines.guru/newreply.php?do=newreply
Сегалович забанил бы за такой вопрос.
А зачем вам полностью бестолковые страницы?
А вдруг без них лучше станет?
Что им заложат, то и генерируют.
АГС и пр — почти вне зависисмости от ценности для пользователей.
И это уметь надо. Технология:
Наличие в ТОПе конечно же оправдывает, стимулирует и возводит до релевантного любое гавно.
301 для ботов это означает: сначала выкинуть из индекса старую...
302 не так
