Можно ли добавить в robots.txt много строк

Если есть возможность назначать разным страницам разные макеты (шаблоны), то прям в нем пропишите robots с запретом индексации, и назначьте этот макет страницам с копипастом.

Еще можно запретить индексацию по маске, т.е. ставите перед урлом страницы определенный набор символов, например: site.ru/dir1/nostranitca1.php и в роботсе одной строкой закрываете страницы (это, если есть возможность, назначать урлы вручную).

Ну и 300 страниц можно в роботс прописать, но, если не ошибаюсь, у роботса есть предел по весу самого файла (я не помню точно - поройтесь). Т.е. тут придется проследить, что бы вес файла robots не превысил допустимое значение.

Да ничего за это не будет :D

Проще использовать метатеги.

Спасибо всем за помощь!

Действительно, надо сначала было всё прочитать в яндексе по повуду robots там все ответы есть.

Ограничение там 256 кб. Вставил 500 строк получилось 25 кб. Так что мне за глаза хватит.

Это шутка?

Для каких то ГС с сателитами и то уник генерируют, а тут коммерческий проект. Эти фильтры никак не нужны.

Кстати хотел всем в репу плюсы поставить. Наверно я пока не могу это делать, сообщений мало? Или могу?

Это не шутка, почему Вы считаете что не уникальный контент это обязательно бан ??

Я писал либо бан либо фильтр.

Я так считаю. Лучше от этого не будет. Те страницы которые я скопипастил естественно будут ниже тех где оригинал. Да и хорошо бы если это на всём сайте это не отразилось.

Хороший копипаст лучше говняного уника. Распечатай и повесь на стенку эту фразу.

Понравилось выражение "генерировать уник" :D

Да, выражение очень жизненное... почему-то новички думают, что если нагенерируют кучу уникального говна, то их сайт проиндексируется и начнет приносить бабло:)