http://be1.ru/stat/
http://semonitor.ru/
http://semaster.ru/
Полагаю, что их вполне достаточно.
Вернее, очень бы пригодился хороший графопостроитель, для отображения структуры сайта, но таких к сожалению не знаю.
И что, если это Wolf, то мы ему сейчас конечно объясним правила формирования титлов, но на кой оно ему?
;)
Saney, что ты, какие конкуренты? Если человек только начинает заниматься оптимизацией, то он не конкурент.
Тогда уж и логотип игровой приставки dreamcast - http://kotisivu.mtv3.fi/sonicsite/Dreamcast.jpg
User-Agent: *
Disallow: /test
Host: www.site.ru
Тут ситуация иная. Спам человек получает не спрашивая, а серпы формируются по его личному запросу. При этом разумеется. дубли стоит подклеивать друг к другу, что уже давно делают все поисковики. Но если перед тобой странички являющиеся дублями процентов на 40 - зачем их склеивать, или опускать одну из них? Это нежелательно, так как наверняка в половине случаев это окажутся странички одного товара с разных сайтов и с разными ценами.
host правильный пропишите.
Хм. А вы вообще видели, какими становятся "уникальные" спамерские письма для прохождения фильтров?
Нет слов...
То выкладывание десятков тысяч идентичных дорвеев станет прибыльным делом. Сейчас из идентичных текстов в индексе наличествует один. Будет много.
