Да ладно, повторы не мешали обычно... и не запрещены.
А скрипты и на сайте текарта прикрыты якобы
<div id="banner-1"><noindex><script type="text/javascript"> document.writeln('<div style=\"\"><span ><img src=\"http://www.techart.ru/banners/banner-promo-n.jpg\" width=\"591\" height=\"181\" alt=\"Promo.Techart\" border=\"0\" /></span></div>') </script></noindex></div>
И картинки типа тоже
<noindex> <!--Rating@Mail.ru COUNTER--><img height="1" width="1" src="http://d0.cc.b6.a0.top.mail.ru/counter?id=442538"/>
И все, кому не лень, это изучают, а некоторые даже головы ломают.
Ну вот комент ищется, его в HTML-коде не видно.
Как бы есть смутное воспоминание, что грянь в запрете индексации скрипта в robots.txt (который опять же иногда игнорируется), но на малом количестве примеров, JS, который закрыт в роботсе — не ищется.
Если есть примеры, показывайте.
В вопросе не хватает исходных данных:
Чего конкретно хочется?.. чего там будет в каждой как бы папке?... варианты есть... но объяснять их долго.
Поэтому:
noindex для меню
структура урлов, но это /2008/11/27/
А так, по мелочам наблюдается — не хочет индексить три страницы в разделе, если они слегка похожи, только одну из них... пришлось проспамить /раздел/
Каждый раз лезть в настройки поиска... в вашем браузере.
ps Мэйл вон где-то кого-то уже опережает.
Траф с Я слегка подрос только сегодня... но последние несколько дней его склейку не проверял.
Host: новый-домен был прописан около 20 декабря.
А двухстраничный, в котором попытка склейки была предпринята раньше — так и не склеился.
Найдите эту страницу Яндыксом, нажмите ссылку копия под сниппетом и посмотрите в HTML-коде — есть этот ноуиндекс или нет. Могла просто не переиндекситься. Тут вам не Гугл...
Вперёд!
И не забудьте сослаться на правильные пункты договора.
После того, как вы тут по неопытности засветили урл сайта, который ещё не в индексе... его дорвейщики ещё не стащили? А кто будет виноват?
Вполне цивилизованные методы и были использованы.
Ну на примере выложенного выше списка из всего лишь каких-то там сотен запросов про гипсокартонные перегородки... покажите уж. (это не из вордстата, поскольку в нём и запросов-то нет почти, но из аналогично замусоренного источника)
Или так: Сколько будет стоить заказать у профессионального маркетолога: выбрать из 100.000 запросов по стройке — только те, которые имеет смысл продвигать?.. поскольку вероятность заказа по ним заметная.
ps ТС себя тоже маркетологом вроде бы называл.
Смеху ради, попробуйте вспомнить перевод слова «грех»... и о смысле т.н. «отпущения грехов» задуматься можно будет.
Кидать вас надо.