Если удалите - Яндекс скорее всего будет показывать другую нерелевантную страницу, поскольку он штрафанул ту, которую Вы продвигаете.
Вы почитайте все топики на серче по ссылке выше - там народ уже бился с этой проблемой и отписавал результаты.
Причем, уменьшали как кол-во вхождений в тексте, так и кол-во анкоров с точным вхождением продвигаемого ключа.
Да нет, именно лезет - пытается прочитать и интерпретировать:
56: ACAP-crawler: * Обнаружена неизвестная директива
и так с 56 по 78 строки.
Для бывшего КВС АН-24, Вы, Игорь Вячеславович, неплохо разбираетесь в СЕО :)
PS: Если будете продолжать ко мне приставать по пустякам (надеюсь, Вы поняли о чём я) - пожалуюсь Лиде или Риточке. Или спалю Вашего клона на серче. (Шутка)
Вам, что, трудно пройти по ссылке выше, загрузить роботс и убедиться, что Яндекс лезет в эти директивы?
PS: А что он потом с ними делает - это только одному Яндексу известно.
То есть, прошлый опыт: приватизации, МММ, замороженных вкладов в сбербанке, пирамиды ГКО 1998 г прошел мимо?
Тогда ждите пока не сделают российский государственный поисковик :)
Вам бы для начала почитать вашего Даля что такое АГС, и изучить математику.
Смысл формулы выводить из линейной алгебры X+Y, когда у Яндекса - матричная математика, он уже системы уравнений решает.
При АГС, одна страница (морда) - всегда в индексе.
Все делается очень просто - топаете сюда загружаете свой роботс и проверяете какие урл он закрывает, а какие - нет.
Если страница уже попала в индекс и потом Вы её закрыли роботсом - она будет удаляться долго (месяцами). Потому пока робот лично не проверит страницу - она будет в индексе. А у робота - своё расписание очередности обхода url и поменять его сейчас нелья. Раньше - была фича управления роботом-индексатором с помощью "подсветки", но спаленная в паблик она перестала работать.
Можете ускорить этот процесс тут.
Заодно увидите, что незакрытые роботсом страницы не удаляются, и посмотрите какими способами реально можно закрыть страницы от индексации Яндексом - он там сверху все пишет.
PS: В вашем роботсе есть нераспознанные Яндексом директивы: ACAP- - поскольку они не обозначены сверху полем User-agent: ИмяРобота, Яндекс к ним лезет тоже.
Обновление на АГС, похоже, не влияет, посещаемость - тоже:
2 заброшенных сайта 2006(5 старниц, 5 уников) и 2008 года(10 страниц, 2 уника), морды в сапе - живут.
Другие проекты "с посещаемостью", контент не менялся с 2008 г - живут.
1. Вы не закрыли дубли - у каждой(!) страницы на сайте есть парный дубль:
http://avto-gai.ru/procedura-tehosmotra/prohozhdenie-2010.html
http://avto-gai.ru/procedura-tehosmotra/prohozhdenie-2010/index.php
http://avto-gai.ru/agregati/mazda-vin-2/index.php
http://avto-gai.ru/agregati/mazda-vin-2.html
http://avto-gai.ru/agregati/bmw-vin/index.php
http://avto-gai.ru/agregati/bmw-vin.html
На этих ещё есть 17 кривых ссылок на локальные файлы типа: file://localhost/K%7C/материалы%20для%20гаи/avto/идентификация/bmwvers/verse36.htm
На этих - тоже есть ссылки на локальные файлы от Windows, и тоже, к каждой - есть дубль:
Ващ robots.txt - не закрывает эти страницы, идёте сюда, вбиваете url от robots.txt, загружаете его, в окошко ниже - вбиваете проверяемые урлы, и видите, что правило Disallow: /index.php не запрещает URL вида /agregati/mazda-vin-2/index.php
Мои наблюдения:
1. за избыточное "внешние" для молодых сайтов, без достаточного кол-ва "входящих".
Подопытные - 20 сайтов на народе, 2-4 тыс страниц, пол-года в индексе, "внешнее" - каталоги, трафик 100-300 уников,сутки.
Проставлено по 150-200 ссылок на свои проекты (ссылки немигающие, где-то были сквозняки, где-то - нет) - все "народные" сайты разом улетели под АГС.
2. за множественные дубли контента, возраст сайта - особо не важен.
Подопытные - то, что кидали в личку и светили в топиках.
Последний осмотренный вчера - в индексе с 2004 г, контент - неуник (объявления), нечетких дублей страниц - по 70 с лишним (открыты к индексации результаты поиска и сортировок).
Прекрасно жил до недавнего времени, сейчас - 3 страницы, но однозначность выводов осложняется наличием сапы на сайте.
3. Большое кол-во малоинформативных страниц без текста на молодых сайтах - проявилось на фотогалереях.
Пациенты - по топикам на Серче и Мастертолке.
4. непонятный случай год назад с одним собственным проектом - внешних ссылок: 0, дублей: 0 и АГС через полгода. Аналогичные по структуре и контенту проекты - всё в индексе. (whois - скрыт, те же IP, внешнее - в основном каталоги и закладки)
Злополучный сайт был "as is" перенесён на новый долмен - полгода всё в индексе, со старого поставлен Редирект и прописан robots.txt на новый.
Возможно, алгоритмы АГС иногда и ошибаются, особенно, если ориентируются на шаблон среднестатистического сайта.
Они вообще подгружаются Ява-скриптом, который бот-индексатор Яндекса не исполняет. Смысл в <noindex>?
Пофиг-то пофиг, но согласитесь, немного обидно, когда сайт собирает 90% трафика с поиска Яндекса и сливает его на рекламу конкурентов :)
Но это для Яндекса - вторично, качественный поиск - главнее. И убирать из выдачи нормальные сайты, отвечающие на вопросы посетителей, Яндекс не станет.
