Вот у меня именно за скрытый текст, сделанный с помощью css и забанили по стуку.
Скоро месяц подходит к концу. :)
Если хотите повторить мой путь, советую так и сделать.
Или в robots.txt
Disallow: /tv/?
или
Disallow: /tv/?page=
в зависимости от ситуации
Ну да, последний был в прошлую среду, 30.08.2006
Будет считать индивидуальными, даже если дизайн будет совершенно (!!!) одинаковый, но контент (текст) будет разный.
//
Алгоритмы определения нечетких дубликатов
/ru/forum/56951
Плагиат и оригинальный контент
/ru/forum/67559
Вот, посмотрите здесь, каким может быть дизайн сайта
http://www.templatesbox.com/
Опять же - может быть ☝ , а не должен.
О том, какой должен быть дизайн, и вообще как должен выглядеть сайт, нет единого мнения.
Некоторые сайты, сделанные известнейшими (!!!) мастерами, кому-то кажутся неинтересными и тяжеловесными, а кому-то нравятся.
Посмотрите на дизайн, например, Яндекса. При всей легкости страниц и относительном минимализме, свойственном поисковой системе, там тоже есть дизайн. Опять же, кому то он нравится, а кому-то нет.
Посмотрите на сайты, призеры и номинанты премии Рунета http://www.premiaruneta.ru/registration/nom/ определите, какие из них вам лично нравятся и почему. Если какие то нравятся, то, наверное примерно таким и должен быть для вас дизайн сайта. Только, как сказал ewg, на вашем сайте он должен быть свой.
А программное обеспечение может быть любым.
P.S. Если бы я, наконец-то, сумел создать сайт с дизайном, который бы понравился всем, не зависел от моды и времени, и, соответственно, его не надо было бы менять раз в два года. Если бы к тому же этот сайт не зависел от бесконечено меняющихся стандартов и новых версий браузеров, то я бы считал, что жизнь прожита не зря.
Можно было бы закончить свой труд, и спокойно умереть. А так - нет предела совершенствованию.
Поэтому вопрос "Так, все таки, какой должен быть дизайн сайта" и для меня, и для многих дизайнеров и веб-мастеров, остается пока открытым. ;)
Знакомая проблема. Всегда добавляется со второго раза, что через IE, что через FF.
Вот файл роботс самого Яндекса, посмотрите, как он составлен:
Ничего здесь не дублируется со слешем и без слеша.
Т.е.,
Disallow: /cy
Disallow: /ya
закрывает одновременно и
Disallow: /cy/
Disallow: /ya/
User-agent: * Disallow: /cnstats Disallow: /usercp Disallow: /register Disallow: /login Disallow: /search Disallow: /admin Disallow: /submit Disallow: /img Disallow: /cnstats/ Disallow: /usercp/ Disallow: /register/ Disallow: /login/ Disallow: /search/ Disallow: /admin/ Disallow: /submit/ Disallow: /img/
User-agent: Yandex Host: www.****.ru
Правильно должно быть так:
User-agent: * Disallow: /cnstats Disallow: /usercp Disallow: /register Disallow: /login Disallow: /search Disallow: /admin Disallow: /submit Disallow: /img
User-agent: Yandex Disallow: /cnstats Disallow: /usercp Disallow: /register Disallow: /login Disallow: /search Disallow: /admin Disallow: /submit Disallow: /img Host: www.****.ru
Это общеизвестный факт.
p.s. Значит, все таки, причина была не в Яндексе, а в вашем файле роботс. ;)