W3CRobot - шо за гадость? :)

Этот робот проверяет страницы на совместимость стандартам. Подробнее http://validator.w3.org/

Ничего подобного.

Это робот, который обходит страницы, ищет на них ссылки на другие ресурсы и заносит имена доменов в свою базу, которая публикуется у них на сайте. И никакго отношения к W3.org он не имеет.

Аот только зачем ему такая коллекция?

Стоп. Не дурите мозги. Это freeware-робот, которого может использовать любой. И часто это признак близящейся hack-атаки. Посмотри, чего он спрашивал...

Да все он запрашивал - более 5 тыс страниц скушал.

И честно реферер выдавал, откуда пришел (а приходил со многих ресурсов)...

Жаль, что полный Юзер-Агент выбросил :(

В нем он давал ссылку на страницы сайта с описанием робота (вот только для чего он - так и не понял).

Создалось впечатление, что кто-то пытается собрать в БД все домены, которые найдет (по-крайней мере был приведен список посещенных доменов и отсортирован как по алфавиту, так и по какому-то своему критерию).

Откуда такие сведения?

Ну ну... да кому кроме хацкера нужен весь сайт? У меня оно лазило там где никогда ничего и не было...

Посмотри:

http://www.webmasterworld.com/forum11/1581.htm