.robots или robots.txt ?

Все ищут robots.txt.

А что такое .robots?

Посмотрел логи по каким запросам выдавалась 404 ошибка.

.robots никто никогда не пытался смотреть.

вот блин, какая загогулинка....и на старуху проруха бывает...забыл все к чертям....

Однозначно robots.txt

Га...

Попробуйте положить на сервер .robots и потом заросить его через http ☝

Ну попробовал. Вижу текст этого файла. Что дальше?

ищут вот это

http://www.searchengineworld.com/robots/robots_tutorial.htm

Ладно, про удаление понял. А если сайт на движке и проиндексированы страницы вида index.php?c=lkdsflkjsdklj, то когда из серпа удалятся несуществующие страницы и запрещенные?

wilelf, делается модреврайт и удаляются.

Несуществующие должны отдавать требуемый отклик (301 или 404 - по ситуации). Тогда постепенно удалятся и они.

Про запрещённые выше уже сказано.