Скорее всего это паразитный бот трафик по заданному шаблону.
Анализируйте IP-шники, выясняйте ASN-ы, если это трафик с серверных проксей - баньте на уровне ASN-ов.
В данном случае проблемы не в том, что у вас дубли по этим адресам, а в том, что по несуществующим адресам активизировалась бот активность. Рекомендации Яндекса и настройки robots.txt тут не спасут и не помогут.
Либо нанять человека, который знает как это сделать, либо:
1) Поискать в сети/спросить у GPT - как реализовать проверку IP.
2) Поискать в сети/спросить у GPT - как определить ASN-ы вашего бот трафика.
3) Поискать в сети/спросить у GPT - относится ли этот трафик к спамному серверному бот трафику.
4) Поискать в сети/спросить у GPT - как запретить доступ этим ASN-ам в htaccess.
Если ASN-ы относятся к резидентным адресам или мобильному трафику, то банить нельзя, в этом случае придётся использовать антибот решения.
