запретил на индексацию страницы, а гуглу все равно?

Запретил в robots страницу с информацией для правообладателей, в последний АП страница получила Пр + 1

Выводы делайте сами :o

в роботс вроде только индексацию запретить можно

если ссылки на нее есть пр по идее может расти

но почему гугл индексирует?

получается из-за его же ошибок у меня появились дубли в выдаче и сайт буде тпроседать. круто.

не будет проседать. он дубли в сопли отправит.

то есть по сути роботс,тхт ничего может не дать?

у меня очень много всего закрыта, туча ненужной инфы, вся закрыта в роботс

и гугл ща может начать это все индексировать?

какой смысл тогда в этом файле?

Эволюция прогрессирует. Не думаю что они настолько тупы что бы самим себе выдачу портить... Думаю разберутся.

Роботс должен работать по назначению, а иначе капут(

добавил еще такие вариант

Disallow: /category/*/*

Disallow: /category/*

может хоть сейчас одумается

robots - это только рекомендации для гугловского бота. Хотите запретить индексацию страниц - используйте метатег <meta name="googlebot" content="noindex">.

У меня такая же ерунда была. Помог метатег нофоллоу на таких разделах.

На роботс он плевал