Вот что выдает ваш сервер при запросе файла robots.txt
Здесь все нормально.
Значит мусор в http-заголовки всех динамических станиц добавляется php-скриптом /index.php
смотрите в нём.
А в файле /index.php точно нигде нет ошибки?
Если работает без RewriteBase, то значит не нужно.
Я уже сталкивался, что на разных апачах mod_rewrite работает по-разному.
Небольшое дополнение.
В принципе, если есть желание, можно оставить на сайте site1.ru файл robots.txt а строкой
RewriteCond %{REQUEST_URI} !robots\.txt$
запретить переадресацию на www.site1.ru только для одного этого файла.
Окончательный вариант .htaccess лежащего в корне site1.ru вместе с файлом robots.txt тогда будет такой:
В данном случае бессмысленно, т.к. все запросы к любому файлу на сайте site1.ru, в том числе и к robots.txt, будут перенаправлены на www.site1.ru
Таким образом, для роботс.тхт переадресовка:
с site1.ru/robots.txt на www.site1.ru/robots.txt
с выдачей боту, браузеру и всем остальным ошибки 301
Отвечал то на письмо Яндекс, а не юзеры.
Ошибаешься. Речь идет о технологиях будущего. Т.е., грубо говоря, что поисковая машина будет понимать, что нарисовано на картинке.
Так бот Яндекса отреагировал на слово H1
Согласен.
Ну что, будем просить закрывать тему? :)
Пытаюсь бороться за справедливость 😒
