Спасибо :)
Буду дальше наблюдать, соц. рекламу действительно не отключал для этого сайта, может быть она была.
Спасибо. Нет, это не первый сайт в аккаунте, кроме него еще есть два.
Т.е. модерации уже не будет (если я правильно понимаю).
Нужно применять фильтры таких сайтов, чтобы их отсеивать.
Можно использовать mod_rewrite там можно применять регулярные выражения, привести дубли к некому стандартному виду и потом обрезать ненужные страницы уже в роботс, но это уже надо искать профи в написании регулярок для mod_rewrite :)
Разве сапа выдает только проиндексированные страницы?
Мне кажется она все страницы, что нашла (не дальше 3-х кликов) выдает.
Добавлял как-то сайт не в индексе, выдала пару десятков страниц.
Может кому пригодиться методика удаления спама в профилях юзеров для ДЛЕ:
http://wolf-bespredel.ru/web-technologies/udalyaem-spam-v-profilyah-datalife-engine-dle.html
Я так очистил от 1500 говноссылок-ссылок сайт.
Еще думал почему яндекс постоянно торчит в профилях юзеров, оказалось там заспамлено все по самое нехочу.. :(
PS: закрывать профили от индексации не стал, т.к. там было раскуплено уже много ссылок в сапе
Мое имхо: откройте страницу сайта в браузере и посмотрите ее исходный код, если в исходном коде видно ссылки, текст и т.д., то они будут проиндексированы, если нет (динамическая подгрузка, текст спрятан в коде JS) то не будет проиндексирован. Как-то так :)
Нет, на ключевики точно не будет закрыт, т.к. все метатеги генерятся уже файлом index.php, а он не закрыт от индексации.
Подумал просто, что если дизайн уникальный и шапка тоже, то зачем скрывать этот плюс от ПС :)
Возможно, правда в ней есть папка images в ней логотип (шапка) сайта, для ПС они станут недоступными, возможно это не очень хорошо, но вопрос спорный.
Не понимаю зачем у DLE закрывают аплоадс, там обычно картинки и в итоге они не будут проиндексированы
