Секундочку.
Вся эта кривота касается ТОЛЬКО домена trafaret.net и не касатеся домена www.trafaret.net , верно? С точки зрения поисковика это разные домены. Поэтому что происходит с trafaret.net мне безразлично - там пусть творит что хочет, основное зеркало у меня указано, то что вдруг откуда-то появляется robots_net.txt тоже не должно никого волновать, так как это не канонический же роботс. А для домена www все ровно, никаких редиректов robots.txt не существует, все корректно. Так что к проблеме это не относится.
Но мой внутренний перфекционист с тобой полностью согласен, я поломаю голову как устранить эту неоднозначность, хотя я полностью убежден в том что она никак не влияет на работу робота. Тем более что отличие robots.txt (реального фала на сервере) от robots_net.txt (что показывается роботу по запросу robots.txt домена www) лишь в отсутствии строки Host: www.trafaret.net.
1. Выше писал, один робот приходит, другой удаляет2. Анализ нижней картинки это подтвердил, осталось найти бота
https://trafaret.net/robots.txt
Ты изъясняешься шарадами, но теперь я понял.
Прямого редиректа robots.txt => robots_net.txt нет. Есть редирект !www -> www
И, да, похоже эта цепочка работает кривенько... Надо обдумать последовательность редиректов... Для меня, правда, .htacess это жутковатое место, все время боюсь поломать что-нибудь там...
Но, еще раз, даже это никак не влияет на поднятую мной проблему. Пусть robots.txt самый наикривейший, это не делает а) страницы недоступными и б) не дает права удалять страницы по clean_param.
PS: и, да, у меня основное зеркало 17 лет www. И все поисковики про это знают.
Да я понял! Вопрос как ты его увидел??? robots.txt => robots_net.txt
Точнее даже так - ГДЕ? Так как его нет...
Какие-такие "лишние"? Лишних нет, по крайней мере да, кстати, спасибо за наводку, убрал звено 443 с домика, но более лишних не вижу.
ПРИЧЕМ ТУТ ЭТО? Я же уже раза три писал, что у меня на одном движке четыре домена, и у них РАЗНЫЕ роботсы. Но редирект-то ты где углядел? Подставляется у меня robots_net.txt путем RewriteRule ^robots\.txt$ robots_%2.txt [NS]
Но... раз тебе известен robots_net.txt, значит где-то это засветилось... Шаман однако, колись.
Но, еще раз, к делу это не относится, конкретно к разбираемому случаю. Есть у меня роботс, нет у меня роботса, есть у меня роботс и он кривой... Дерьмояндекс-то 17 лет подряд брал тот, что надо. И кушал строчку каую надо, и клинил эти парамы какие надо. А тут вдруг... ну то, что на четырех страницах тут.
Не буду уподобляться яндексу, отвечу на поставленный вопрос. И таких страниц было 10 000. И любая изних пробивается инструментом проверки роботс.тхт как валидная. И у КАЖДОЙ страницы прописан валидный canonical (с отброшенными лишними параметрами).
В вебмастере есть проверка ответа сервера. Там штук 6 ботов.Если для одного из ботов сайт недоступен, сайту хана
Один бот индексирует, неработающий выкидывает.Если так, ищем где и кто блокирует этого бота на хостинге
Да все это ясно. Только вот незадача - сайту 17 лет. И последние пару лет ничего принципиально не менялось (точнее не менялось ничего, что могло бы повлиять на доступность) кроме того этот же движок обслуживает еще 3 нацдомена в разных странах. Ну и мониторинг висит, конечно же.
Да нет, это совершенно бесспорно косяк яндекса, который они трусливо не признают. И то, что они его не опровергают (даже эфемерно типа "ваш сайт мог быть недоступен") - лишнее подтверждение.
Это как с фильтром аффилиат - все знают, что он был и есть. Но нет ни одного человека, кому бы яндекс в этом признался.
Да я эти уродам уже две простыни писем написал. Они трусливо даже свою ошибку не признают То есть ТРИЖДЫ заданный вопрос: "Вы признаете, что это ваша ошибка? Если есть возражения - выскажите" тупо остался без ответа.
И скриншоты соответственно тоже прикладывал - список страниц, выкинутых из поиска по clean-param и те же самые страницы через "анализ роботс.тхт" с результатом "все ОК".
Выкинуло не 1, не 10, не 100, а АБСОЛЮТНО ВСЕ страницы с параметрами - осталось в поиске ДВЕ это главная и единственная страница с инструкцией для которой я сделал ЧПУ. Все БЕЗ ИСЛЮЧЕНИЯ. То есть было 10 000 (десять тысяч) страниц - стало 2 (две).
А "специалисты" этой помойки то ли глумятся, то ли тупые. Но скорее просто глумятся. Например я пишу "страницы потеряют вес, так как добавляются как новые" а они отвечают "страницы вернутся в поиск" и вопросы по потерю веса при ранжировании тупо игнорируют.
Или я пишу "кроме того пропали все быстрые ссылки" а эти говнюки отвечают "неправда, вот скриншот, быстрые ссылки есть", при этом игнорируют мое замечание, что было ВОСЕМЬ быстрых ссылок на полезные разделы типа "каталог", "доставка и оплата", и еще на несколько главных разделов а стало ДВЕ ссылки на совершенно неважные разделы с левацкими подписями типа "обмен" хотя никакого обмена у меня нет, а ссылка ведет на страницу с политикой возврата и обмена, стандартный текст.
Прошло две недели, в индекс заново влетели порядка 6000 страниц (4000 сегодня только). Но позавчера уже был массовый влет около 2000 а потом вылет 1800 по причине "страницы дола была недоступна", хреналысого, аптайм 100% в последние полгода.
Уроды, короче. Пользуются что управы на них нет.
Я думала, это топик от очередной жертвы МПК, которого Яндекс довел, а тут вопрос новичка просто)
Удивилась, что так бывает)) Ну а что, человек, может, впервые в интернет вышел, а вы с ним так грубо сразу.
Все проще: 90% здешней аудитории побираются крохами с барского стола и цыкнуть на хозяина не в их интересах. А наиболее уязвимы и страдают - нормальные сайты, коих исчезают мало а тут и вообще единицы.
Расшифрую - "нехватка" это когда что-то НЕ сделано. А когда СДЕЛАНО и в итоге искажается истина - это уже немного другое. А яндекс именно за это презирают.
