Те, которые интересны людям ...
И так ясно: спам по форумам и гостевым, и не удивлюсь, если крутится в какой-нибудь САР )))
Т.е. вы брали два абсолютно идентичных сайта, различие которых только в мета?
Ссылки все на сайты тоже абсолютно одинаковые, с одних и тех же сайтов и страниц, и с одними и теми же анкорами?
Да?
Неужели с поисковиков ??? 8)
Судя по всему не противоречит, но ... на практике ни разу не встречал подобного ...
Если кто видел скиньте ссылочку на такой роботс (у серьёзного сайта), пожалуйста ...
А тематика у сайтов какая?
Опять неправильно )))
Секции нужно разделять пустой строкой )))
Вот так:
User-agent: msnbot Disallow: / User-agent: Yahoo! Slurp Disallow: /
Млин, тут новый жгун появился, а мужики не в курсе !!!
По теме: Ваш "IT-Portal" - редкий говносайт ...
Плохо всё ... Дизайн, контент, линкопомойка каталогов в футере и т.д., и т.п.
А где секция Гугла то ???
Очень даже учитываются ... Про "обратную связь" слышали?