А не приходило ли ТС в голову поздравить интернет-провайдеров, служащих DARPA?
Ну вот вы...
... чего придерживаетесь в этой теме?
Того, что себе в голову вбили: сделать cannonical на search.php
(вас уже раз 5 поняли, а вы всё повторяетесь).
Так и тупые ползатели — хотят увидеть то, что вбили в форму запроса. А не ваш поиск, который вы им очень хотите навязать. Но cannonical на search.php исключит из результатов поиска ваши старания в закрытых спойлерах, туда спамить смысла нету. так что не выдумывайте бесполезное занятие.
Вот когда увидите в запросах =поиск магазин запчастей= тогда и...
У Яндекса траф не из поиска, имелось в виду.
А так вот у всех разные ответы по разным зеркалам/robots.txt
http://yandex.ru/robots.txt 200 OK
https://yandex.ru/robots.txt 200 OK
http://www.yandex.ru/robots.txt 200 OK
https://www.yandex.ru/robots.txt 200 OK
https://www.google.ru/robots.txt 200 OK
http://www.google.ru/robots.txt 200 OK
http://google.ru/robots.txt 301 Location: https://www.google.ru/robots.txt
https://google.ru/robots.txt 301 Location: https://www.google.ru/robots.txt
http://my-site.com/robots.txt (301 редирект на главное зеркало)
https://my-site.com/robots.txt (301 редирект на главное зеркало)
http://www.my-site.com/robots.txt (моё главное зеркало!)
https://www.my-site.com/robots.txt (301 редирект на главное зеркало)
Т.е. нет понимания, что 301 != доступность (200 ОК)
Много их в индексе?
https://www.google.ru/search?q=inurl%3Amarket.yandex.ru%2Fsearch%3Ftext
Но неустойку отсудит.
Он этого не боится. У него траф не с поиска.
Но свой robots сделал доступным (200 ОК) по всем зеркалам. Это так не гуглу нужно, а нестандартному яндексу.
Если вас ищут ещё и Яндексом...
И /robots.txt должен отдавать 200 ОК, т.е. вы должны его видеть в браузере по всем зеркалам (протоколам.субдоменам),
а не 301 на главное.
Ну найдите сеошный сайт (по =продвижение сайтов яндекс=) и полазьте по всем его зеркалам/robots.txt
User-agent: * Disallow: Host: www.my-site.com Sitemap: http://www.my-site.com/sitemap.xml
В случае с HTTP протокол не указывается, только при HTTPS, ну читайте бота щукина по сцылке на поиск...
Нет.
В примере с яндексовским роботсом 200 ОК отвечается по всем зеркалам. Ну хотя бы Яндексу. Т.е. он не так же себя ведёт, как Гугл (идущий по 301 в случае /robots.txt)
Ну т.е. если вам Яндекс тоже важен, то с ним всё не так, как с Гуглом, прочитайте его хелп про склейку и пр.
И добавите в .htacces исключение для robots, типа
RewriteCond %{SERVER_PORT} ^443$
RewriteCond %{REQUEST_URI} !^/robots.txt$
RewriteRule .* http://%{SERVER_NAME}%{REQUEST_URI} [R=301,L]
c без www на www сами... или в ТП. А потом проверьте ответы сервера по всем зеркалам/robots.txt
В хелпах однозначно написано, что это разные сайты.
-http://mysite.com
-https://mysite.com
ещё два сайта.
Если у вас 301 со всех таких ведёт на единственно правильное зеркало, не беспокойтесь. Не ждите, что искалки склеят всё именно так, как удобно вам. Они сделают как им удобно...
И отдельно обратите внимание на доступность для Яндекса одного и того же файла robots.txt
(с одной и той же Host) по всем редиректящим зеркалам
http://yandex.ru/robots.txt
https://yandex.ru/robots.txt
http://www.yandex.ru/robots.txt
https://www.yandex.ru/robots.txt
А то завтра ещё тему заведёте https://www.yandex.ru/yandsearch?text=%D0%BF%D0%B5%D1%80%D0%B5%D0%B7%D0%B4+HTTPS
Как это можно взвесить / проверить?
Дайте гарантию, что завтра мне не посыплются SMS про сбер.деньги яндекс.пиццу и почту.NL
ТС, в хелпах ПС такие страницы однозначно советуют закрывать в robots
Может посадку сделать и на searchengines.guru/newreply.php?do=newreply
