wolf: Робот-зеркальщик, считает, видимо, по-другому (разные люди писали?) и главным назначил второстепенное зеркало www.othersite.ru, о чем и говорится при попытке добавить в индекс домен www.site.ru через форму http://webmaster.yandex.ru/
Индексатор, видимо, как и сервис Яндекса по проверке robots.txt, считает, что файл корректный и выкинул сайт www.othersite.ru из индекса, а добавить www.site.ru нельзя, т.к. он считается второстепенным зеркалом сайта www.othersite.ru
Вот такой бардачок получился. robots.txt на фиг снесли. Ждём.
У меня такая же ситуация - главным считается сайт, которого уже месяц нет в базе Яндекса.
Но через форму по-прежнему не можем добавить основной сайт - так как он считается "зеркалом" того, которого уже давно нет.
Подскажите, исправилась ли у Вас ситуация? Через сколько времени?
Иваныч: marat!!! сделайте же вывод из своего открытия!!! Вы в любом случае попадаете на один и тот-же домен в роботсе которого прописано Disallow: / , что запрещает индексацию вашего сайта. Почитайте повнимательнее про роботс на Яндексе.
Дело в том, что robots.txt фомируется в зависимости от домена, по которому обращаетесь:
У вас сервер считает .txt файл за .html, поэтому все выдается в одну строчку, см. заголовки:
Content-Type: text/html; charset=windows-1251
А должно быть text/plain. Настройте сервер.
Понял, обращаюсь в саппорт хостинга.
НО - думаю, это никак не влияет на реакцию бота - так как проверял эту версию robots.txt вот с помощью этого скрипта
Перевел, что было в кошельке.
Выздоровления!
Робот-зеркальщик, считает, видимо, по-другому (разные люди писали?) и главным назначил второстепенное зеркало www.othersite.ru, о чем и говорится при попытке добавить в индекс домен www.site.ru через форму http://webmaster.yandex.ru/
Индексатор, видимо, как и сервис Яндекса по проверке robots.txt, считает, что файл корректный и выкинул сайт www.othersite.ru из индекса, а добавить www.site.ru нельзя, т.к. он считается второстепенным зеркалом сайта www.othersite.ru
Вот такой бардачок получился. robots.txt на фиг снесли. Ждём.
У меня такая же ситуация - главным считается сайт, которого уже месяц нет в базе Яндекса.
Но через форму по-прежнему не можем добавить основной сайт - так как он считается "зеркалом" того, которого уже давно нет.
Подскажите, исправилась ли у Вас ситуация? Через сколько времени?
http://www.yandex.ru/removeurl.html для пущего ускорения процесса расклейки.
Не понял. Что удалять?
www.servotechnika.ru итак не присутствует в базе Яндекса.
marat!!! сделайте же вывод из своего открытия!!! Вы в любом случае попадаете на один и тот-же домен в роботсе которого прописано Disallow: / , что запрещает индексацию вашего сайта. Почитайте повнимательнее про роботс на Яндексе.
Дело в том, что robots.txt фомируется в зависимости от домена, по которому обращаетесь:
http://www.servotechnika.ru/robots.txt - Disallow: / - соотв., полное запрещение.
http://www.servotechnica.ru/robots.txt - пустой, соотв. индексирование разрешено для всех.
Но, всё равно, спасибо за такое детальное внимание к моей просьбе помочь.
marat, а при обращении к сайту с ввв и без ввв юзер или бот попадают на разные домены? :) :) :)
Нет, что Вы:
вводим servotechnika.ru -> www.servotechnica.ru,
вводим www.servotechnika.ru -> www.servotechnica.ru.
Ну может тогда имеет смысл туда че-нить запихать и пусть расклеиваются?
Дело в том, что некоторые пользователи обращаются к www.servotechnika.ru - поэтому там стоит просто обычный redirect на www.servotechnica.ru.
парочка в роботсе
User-Agent: *
Disallow: /
действительно запрещает ВСЕМ поисковым сайтам индексацию ВСЕГО сайта (уберите /).
Мне и нужно - чтобы сайт www.servotechnika.ru - НЕ индексировался - и сайт www.servotechnica.ru НЕ считался его зеркалом.
ПОЭТОМУ, мне и удивительно поведение Яндекса, который считает основным сайтом тот сайт, которого ВООБЩЕ уже нет в базе.
По моему - это большая ошибка программистов Яндекса.
Смотрим http://www.servotechnika.ru/robots.txt
User-Agent: * Disallow: / Host: www.servotechnica.ru
У вас сервер считает .txt файл за .html, поэтому все выдается в одну строчку, см. заголовки:
Content-Type: text/html; charset=windows-1251
А должно быть text/plain. Настройте сервер.
Понял, обращаюсь в саппорт хостинга.
НО - думаю, это никак не влияет на реакцию бота - так как проверял эту версию robots.txt вот с помощью этого скрипта
http://www.yandex.ru/cgi-bin/test-robots
Все нормально. Сайт запрещен для индексации.
marat, директива Disallow: / запрещает индексацию всего сайта.
/отредактировано/
Упс. Невнимательно прочитал. Яндекс сейчас считает основным зеркалом
http://www.servotechnika.ru/, который запрещен к индексации в robots.txt.
Пишите в саппорт. Я бы еще снял запрет индексации и поставил бы 301 редирект с http://www.servotechnika.ru/ на http://www.servotechnica.ru/
В саппорт писал неоднократно.
Отвечают примерно вот так:
---
Здравствуйте, Марат!
Через неделю должен добавиться сайт www.servotechnica.ru в форму.
---
Но неделя проходит за неделей...
Bomass, тогда уж HTTP/1.1 301 Moved permanently :)
marat, что-то robots.txt у вас пустой?
Да. На servotechnica.ru - пустой.
А здесь http://www.servotechnika.ru/robots.txt, такой:
User-Agent: *
Disallow: /
Host: www.servotechnica.ru
Что-то неверно?
header ("HTTP1/1 302");
header ("Location: http://www.servotechnica.ru$_SERVER['SCRIPT_FILENAME']");
На сайте прописано так:
if ( strpos($_SERVER["HTTP_HOST"],"servotechnics.ru") !== false || strpos($_SERVER["HTTP_HOST"],"servotechnika.ru") !== false)
{
header('Location: http://www.servotechnica.ru' . $_SERVER["REQUEST_URI"]);
exit;
}
Нет, при работе нужно будет тесное взаимодействие.
Удаленно - это делать сложно, много затрат времени.
Там есть возможность подключать любой поисковик, надо прописать его урл.
Где это можно сделать?