Да, именно скрыл. Сделал редирект и закрыл от индексации. Как удалить - не успел тогда разобраться. Страница генерится скриптом и чтобы ее удалить, нужно править php-код.
FlyAway, я не хранил логи за столь долгий период времени. Поэтому не смог отследить самый первый заход с Яндекса. За 7 лет работы это оказался первый случай, когда сие обернулось неудобствами. А позже уже все что нужно видел.
The WishMaster, страницу эту я скрыл с самого начала. Думал, что скрыл. А Яндексу она была по-прежнему видна. Смысла обманывать Яндекс, в моем случае, совершенно нет. Та, страничка из-за которой весь сыр-бор, приводила 5-7 человек в день.
Ну вот, сегодня сайт вынырнул из бана ☝
Всем спасибо за участие.
По логам, переписке и прочим признакам удалось установить картину событий.
В июле кто-то стукнул Яндексу на выпадание одной страницы моего сайта по нетематическому для сайта запросу. Это страницей оказалась зачуханная страничка с логами заходов через поисковики в один из второстепенных разделов сайта.
Уважаемый Рулевой Яндекс-баннилки зашел по запросу, увидел явное нарушение и поступил, видимо, строго по инструкции, то есть забанил весь сайт со всем доменами третьего уровня. В общей сложности несколько сотен тысяч страниц.
Странную статистику я заметил только в конце августа, когда должен был начаться обычный рост посещаемости после расслабляющего лета. Дальше началась переписка с Яндексом и попытки угадать, где же могло быть нарушение. Время шло, я писал письма, ответов не было.
После пятого, или шестого письма наконец-то пришел ответ от Платона:
Указанную страницу я ранее убрал через .htaccess, но, как оказалось, не до конца - на нее можно было выйти. Это была ошибка, которая стоила мне пары недель дополнительного ожидания. Страница до этого простояла на сайте года полтора-два.
Далее я немедленно выпил, исправил ошибку и снова написал письмо в Яндекс. В итоге пришел самый радостный ответ, на который только Яндекс способен "Причина, по которой Ваш сайт был запрещен к индексации, устранена." :)
Через пять недель, то есть сегодня, сайт появился в поисковой выдаче.
Результаты:
В результате дурацкой, в целом случайной, ситуации, с июля по начало декабря сайт отсутствовал в выдаче Яндекса. При этом в Яндекс-каталоге и Яндекс-блогах оставался. Потери посещаемости составили в среднем три тысячи человек ежедневно.
Radionov, спасибо! Очень возможный фактор. Закрыл "дыру" в robot.txt
Я тут подумал, что все эти проблемные вещи делались года два-три назад, когда они еще не были проблемными. И мне просто хорошо жилось в неведении, но облом, при нынешнем положении дел, все равно был неизбежен. Хотя жесткий вариант (бан) - это, на мой взгляд, не очень гуманное решение и даже не очень выгодное, так как заведомо конфликтное. Если бы в выдаче Яндекса результаты терялись постепенно, то повод задуматься и взяться за изменения сайта был бы естественным.
И еще один тонкий диалектический момент. Пройдя через все эти баны, поиски причин и вынужденную препарацию внутренностей сайта... э-э, не понятно, как после всего этого "делать сайты для людей, а не для машин".
p.s. Письмо Платона покажу позже. Переписка еще не окончена и вопрос не решен.
The WishMaster, вы видели такие примеры, или предполагаете?
По моему очевидно, что на больших форумах уследить за этим на 100% невозможно.
Однако, господа, сегодня лед тронулся!
Я получил ответ от Платона, где действительно указан конкретный пример нарушения. Таким образом, возможность нормального делового диалога, к счастью, доказана.
Названный пример не указываю, так как удалю его в ближайшие 10 минут. Это действительно моя ошибка - я думал, что исправил это место, но оказалось, что не до конца.
Скачивал логи и поиском по тексту проходился.
Да, повторю процедуру.
Как думаете, сработает ли такой вариант - закрыть в robot.txt все разделы для робота Яндекса, оставив только самое-самое не сомнительное?
FlyAway, искал по нескольким дням до и после. К сожалению не нашел.
Кстати, есть ли информация о том, проверяет ли ТП Яндекса ссылки при каждом запросе/уведомлении? Или может банально игнорировать?
kender, из-за ссылок - возможно. Но сомнительно.
В указанной вами теме пишут:
У меня на форуме более 200 000 сообщений. А многолинковых ссылок, ну может сотня-полторы. Спама вообще нет.
_catalog.ariom.ru - ручной, модераторы правят описание, никаких многолинков. Вряд ли это может быть причиной.
Хм. Возможно. Поправил. Но вряд ли это основная причина, согласитесь? Там все ссылки внутренние - в общем просто лента новостей.
Я лично этот сервис понимаю буквально - нет пределов глубине индексации, или, по-другому, индексация вышла за пределы интернет :)))
Имеется ввиду десяток ссылок со сторонних сайтов?
