И без этого умники урлы парсят, были запросы на написание подобных парсеров - идея в том, что бы покупать ссылки с ЯК определенной тематики (парсят ЯК, парсят сапу - потом сравнивают урлы). Раньше игрались с добавлением в Белый лист при парсинге, недавно заметил одного умника, который работает так - покупает ссылку, парсит урл отказывается и в Блэк Лист его (что-бы при следующим проходе не купить).
ТС - клон, недавно выдвигал это-же предложение, народ предположил что пополняет тыреным ЯДом. Оно Вам надо?
Я пишет (вернее Садовский говорил в интерьвью), что выкидывает сайты (страницы) при проблемных заходах паука более 4-х раз.
CMS была взята по акции для разработчика (т.е. бесплатно), в индексе сайт судя повсему недавно (пустой к тому-же). Нулевый. Кроме даты регистрации преимуществ нет. Да и имя - неахти для серьезного проекта.
Судя по вэбархиву - домен Вы дропнули.
Это не только у "народных" сайтах проблема была, у почти всех, недавно только поперло.
На СДЛ немного количество проиндексированых страниц уменьшилось, на ГС также, так что ждите, даже если полный бан - бэкап сайта, какое-то время ждите и разворачивайте на другом домене.
Компромат туда кинуть?
dc.volia.com ~ 0.75$/месяц (Украина)
Да Джумле сайты хорошо и долго в индексе держаться, даже если местами (большими кусками) копи-пэст и свежий домен.
Если можно и мне один.
kalugin.info@gmail.com
Заранее спасибо
