Вот что выдает ваш сервер при запросе файла robots.txt
Здесь все нормально.
Значит мусор в http-заголовки всех динамических станиц добавляется php-скриптом /index.php
смотрите в нём.
А в файле /index.php точно нигде нет ошибки?
Если работает без RewriteBase, то значит не нужно.
Я уже сталкивался, что на разных апачах mod_rewrite работает по-разному.
Небольшое дополнение.
В принципе, если есть желание, можно оставить на сайте site1.ru файл robots.txt а строкой
RewriteCond %{REQUEST_URI} !robots\.txt$
запретить переадресацию на www.site1.ru только для одного этого файла.
Окончательный вариант .htaccess лежащего в корне site1.ru вместе с файлом robots.txt тогда будет такой:
В данном случае бессмысленно, т.к. все запросы к любому файлу на сайте site1.ru, в том числе и к robots.txt, будут перенаправлены на www.site1.ru
Таким образом, для роботс.тхт переадресовка:
с site1.ru/robots.txt на www.site1.ru/robots.txt
с выдачей боту, браузеру и всем остальным ошибки 301
Отвечал то на письмо Яндекс, а не юзеры.
Ошибаешься. Речь идет о технологиях будущего. Т.е., грубо говоря, что поисковая машина будет понимать, что нарисовано на картинке.
Так бот Яндекса отреагировал на слово H1
Согласен.
Ну что, будем просить закрывать тему? :)
Пытаюсь бороться за справедливость 😒
Вот что выдает ваш сервер при запросе файла robots.txt
HTTP/1.1 200 OK
Content-Length: 25
Content-Type: text/plain
Last-Modified: Wed, 02 Aug 2006 09:48:55 GMT
Accept-Ranges: bytes
ETag: "90b788de18b6c61:26e"
Server: Microsoft-IIS/6.0
X-Powered-By: ASP.NET
Date: Thu, 03 Aug 2006 13:33:40 GMT
Connection: close
Здесь все нормально.
Значит мусор в http-заголовки всех динамических станиц добавляется php-скриптом /index.php
смотрите в нём.
А в файле /index.php точно нигде нет ошибки?
А это зачем нужно?
Если работает без RewriteBase, то значит не нужно.
Я уже сталкивался, что на разных апачах mod_rewrite работает по-разному.
Небольшое дополнение.
В принципе, если есть желание, можно оставить на сайте site1.ru файл robots.txt а строкой
RewriteCond %{REQUEST_URI} !robots\.txt$
запретить переадресацию на www.site1.ru только для одного этого файла.
Окончательный вариант .htaccess лежащего в корне site1.ru вместе с файлом robots.txt тогда будет такой:
RewriteBase /
RewriteCond %{HTTP_HOST} ^site1\.ru$
RewriteCond %{REQUEST_URI} !robots\.txt$
RewriteRule (.*) http://www.site1.ru/$1 [R=301,L]
Я ещё положил роботс.тхт c разрешением индексирования нужного зеркала. Это не лишнее? не навредит? или же он нафиг не нужен?
Спасибо.
В данном случае бессмысленно, т.к. все запросы к любому файлу на сайте site1.ru, в том числе и к robots.txt, будут перенаправлены на www.site1.ru
Таким образом, для роботс.тхт переадресовка:
с site1.ru/robots.txt на www.site1.ru/robots.txt
с выдачей боту, браузеру и всем остальным ошибки 301
Причем тут поисковая машина? Я говорю о ЮЗЕРАХ, которым начхать на технологии
Отвечал то на письмо Яндекс, а не юзеры.
Или я ошибаюсь?
Ошибаешься. Речь идет о технологиях будущего. Т.е., грубо говоря, что поисковая машина будет понимать, что нарисовано на картинке.
Так бот Яндекса отреагировал на слово H1
ну если перебирать историю, то о несправедливостях можно долго говорить, это и не только Яндекса касается, и вообще интернета...
Согласен.
Ну что, будем просить закрывать тему? :)
ну а причем сейчас события 2х летней давности?
Пытаюсь бороться за справедливость 😒