Robot.txt и трастовые сайты

Не мало времени и денежек было потрачено на хорошую базу трастовых сайтов, но ксожелению в большнинстве случаев либо втюхивали какой то мусор либо уже подношенные и битые базы. В связи с этим решил собрать свою базу трастовых сайтов. На форумах нашел разнообразные методики как это сделать, но вот по Robot.txt найти что либо внятное найти не могу. Как отличить нужные ссылки?

К примеру то, что Disallow означает запрет это понятно, а как быть с остальными сочетаниями:

Host: forum...............

Sitemap: http://forum.........

Clean-param: sid /index.php

Clean-param: sid /viewforum.php

Clean-param: sid /viewtopic.php

Disallow: /pix/

Disallow: /forum/profile.php

Disallow: /user/

Помогите разобраться,

(а то совсем замучился, что не всталю ссылку на профиль для проверки в Robot.txt вечно какая то билеберда выскакивает)

Буду благодарен если поделитесь запросами для Яндекс каталога (можно в личку)

если все получится, поделюсь созданной базой трастовых сайтов