Яндекс выкинул весь сайт по Clean-param:

Не буду уподобляться яндексу, отвечу на поставленный вопрос. И таких страниц было 10 000. И любая изних пробивается инструментом проверки роботс.тхт как валидная. И у КАЖДОЙ страницы прописан валидный canonical (с отброшенными лишними параметрами).

Я уж не знаю, кому мне то уподобляться?
Писал же уберите лишние редиректы 301, не доведут они до добра


PS Никогда не пеняю на Яндекс, а иногда хочется. НО, всегда ошибка почему то на сайте
Уберите редирект с robots.txt  => robots_net.txt 🤣
Удачи!

Как боритесь с таким пульсом? Думаю вернется. Опять бухой джамшут выдачу зашакалил. 10000 тоже деньги.

Какие-такие "лишние"? Лишних нет, по крайней мере да, кстати, спасибо за наводку, убрал звено 443 с домика, но более лишних не вижу.

ПРИЧЕМ ТУТ ЭТО? Я же уже раза три писал, что у меня на одном движке четыре домена, и у них РАЗНЫЕ роботсы. Но редирект-то ты где углядел? Подставляется у меня robots_net.txt путем RewriteRule ^robots\.txt$ robots_%2.txt [NS] 

Но... раз тебе известен  robots_net.txt, значит где-то это засветилось... Шаман однако, колись.

Но, еще раз, к делу это не относится, конкретно к разбираемому случаю. Есть у меня роботс, нет у меня роботса, есть у меня роботс и он кривой... Дерьмояндекс-то 17 лет подряд брал тот, что надо. И кушал строчку каую надо, и клинил эти парамы какие надо. А тут вдруг... ну то, что на четырех страницах тут.

Прямо же написал, убери редирект
Location: https://www.trafaret.net/robots_net.txt

Да я понял! Вопрос как ты его увидел???  robots.txt  => robots_net.txt

Точнее даже так - ГДЕ? Так как его нет... 

1. Выше писал, один робот приходит, другой удаляет
2. Анализ нижней картинки это подтвердил, осталось найти бота

https://trafaret.net/robots.txt

Ты изъясняешься шарадами, но теперь я понял. 

Прямого редиректа  robots.txt  => robots_net.txt нет. Есть редирект !www -> www

И, да, похоже эта цепочка работает кривенько... Надо обдумать последовательность редиректов... Для меня, правда, .htacess это жутковатое место, все время боюсь поломать что-нибудь там...

Но, еще раз, даже это никак не влияет на поднятую мной проблему. Пусть robots.txt самый наикривейший, это не делает а) страницы недоступными и б) не дает права удалять страницы по clean_param.

PS: и, да, у меня основное зеркало 17 лет www. И все поисковики про это знают. 

То что редирект с !www -> www это одно, он должен быть ( это про зеркало)
Но, к нему есть дополнительный редирект, для неосновного бота robots.txt  => robots_net.txt

И в этом случае нет ни правильного, ни кривого robots.txt, есть ошибка с неопределенными параметрами.
Которую разрабочик просто не учел, что кто то додумается на такое :)

Ищи и исправляй,  и все будет норм. На этом все, тема закрыта, надеюсь.
сам не найдешь, ищи программера

Секундочку.

Вся эта кривота касается ТОЛЬКО домена trafaret.net и не касатеся домена www.trafaret.net , верно? С точки зрения поисковика это разные домены. Поэтому что происходит с trafaret.net мне безразлично - там пусть творит что хочет, основное зеркало у меня указано, то что вдруг откуда-то появляется  robots_net.txt тоже не должно никого волновать, так как это не канонический же роботс. А для домена www все ровно, никаких редиректов  robots.txt не существует, все корректно. Так что к проблеме это не относится.

Но мой внутренний перфекционист с тобой полностью согласен, я поломаю голову как устранить эту неоднозначность, хотя я полностью убежден в том что она никак не влияет на работу робота. Тем более что отличие  robots.txt (реального фала на сервере) от  robots_net.txt (что показывается роботу по запросу  robots.txt домена www) лишь в отсутствии строки Host: www.trafaret.net.