Рег.ру еще на 7 не перебраться не может...
Очень часто движки генерируют свой собственный "виртуальный" файл robots.txt, который изменяется внутри системы.
При этом содержимое файла, который де-факто находится в корне - игнорируется.
Это такая же дань "европейской" моде, как и называть негра - афроамериканцем. Хотя парень, может быть, всю жизнь прожил во франции))
Разные страницы создают больше пространства для "манёвра".
Фото, видео и т.п. при условии что бОльшая часть информации будет различаться, как изложил автор поста выше.
