robots.txt не запрет конкретный для ботов, а указание. Если есть ссылки внутренние, внешние, популярны эти страницы (часто возникает урл на сайте), он не поможет и это не ошибка, предупреждение. Да и собственно там же есть на справку ссылка.
Можно добавить к страницам с гет параметрами или к конкретному параметру :
<meta name="robots" content="follow, noindex"/>
Или вообще полностью к странице поиска, наверняка у вас стоит сео плагин, в котором можно это сделать.
Но ждать результатов придется долго, к этому надо быть готовыми.
А точку в конце урла убрать слабо?
А, что значит sitemap.xml?page=12 ?
На сколько я знаю .xml это единый файл, такую пагинацию впервые вижу.
Не единый, в смысле может содержать индексную страницу с перечислением (ссылками) на остальные карты, все конечно правильно оформленное. По другому, как вы себе представляете карту сайта с сотнями тысяч ссылок, категорий, форматов и тд?
Самый менее напряжный вариант в плане ресурсов сервера, один раз как вы и хотите через sql. Чем парсить каждый пост при загрузке, регулярка и тд.
Мало того, день недели и расположение звезд в день получения сертификата могут серьезно повлиять на позиции сайта. )
Я написал для автора поста, конечно не может и может по old_slug... но в его случаи масса чего не сработало или сработало криво.
Это если бы все сработало и плагин правильный был бы. В том посте есть слово "сделали" и вот тут похоже вся проблема, только перечитал его, сразу не заметил. Похоже теперь в базе два урла и ждет большая работа, по крайней мере понять и как то править. Увлекательный день может ожидать админа, пока пс не начали реагировать.
А причем тут ЧПУ и смена на латиницу в урле?
Поставили плагин, он стала генерить латиницу, но старые урлы такие плагины не меняют. тут засучить рукава и пересохранить каждый пост, тогда по идеи появится 301 или 404. Либо найти плагин который пересохранят (перепубликует) старые посты. Поставить плагин 301 редиректа, который имеет по больше функций. В общем, такое надо заранее продумывать.
Может в вашем плагине есть что-то по поводу старых урлов.
https://searchengines.guru/ru/forum/1026774/page728#comment_16680719
