Гуглить умеем - просто вы так категорично написали - "у вас должен быть сайт со страницами 200, все остальное 404 "
Редирект под запретом?!
У сайта структура - рубрики, страницы и теги. Причем это базовая структура многих сайтов и до недавнего времени это все было абсолютно нормально.
Теперь вдруг по мнению яндекса это все стало плохо плохо и жуткими дублями.
Пришлось позакрывать через роботс, каноникал и метатеги большую часть структуры сайта (а то же облако тегов было накоплено за несколько лет очень большим и многие посетители этим пользовались).
"это рекомендации, а не правило." - для яндекса это рекомендации? Ну если и это всего лишь рекомендации - то это означает - что вообще никакой сайт нельзя сделать правильным (по мнению яндекса), ну разве что кроме примитивного лендинга.
Сделал как в указанной выше статье - поставил в счетчике настройку, чтобы принимать только с одного адреса.
Запросы не прекратились. Сегодня с полуночи уже 258 таких запросов.
/9dc077be41624facba68162faf4a228d.txt 216.77 KB
Интересно где Ябот мог всосать размер файла? Похоже ТС нужно у себя в вебмастере смотреть что откуда ..
Это из парсера лога строка, размер ответа.
Почитал. Таак. А не может это быть от того, что кто-то упер сайт с счетчиком на другой домен? И этот счетчик теперь под другим доменом, но с моего ip что-то пытается получить?
Почему так думаю, недавно делал анализ на совпадение текстов и нашел какой-то левый сайт на домене Zealy.fi который как-то хитро через переадресацию и подстановку отображает мой сайт частично измененный. Причем там много прямых ссылок на картинки остались, но кое чего изменено - счетчики там тоже мои походу стоят.
Для яндекса файл подтверждения выглядит иначе. Если это кто-то из вебадминки пытается подобрать - то явно были бы другие имена файлов.
Ну тут как раз ничего странного. Тема оформления сайта отдает красивую 404 страницу типа