BasterYC: По последнему дору(50 сабов по ~1000 страниц):
через день бот съел 50 морд
через 5 - бот съел все страницы на всех сабах
через неделю-полторы(апа не было тогда): 1900 стр в индексе
следующий АП - сайт выпал.
через неделю, т.е. вчера вечером: ~50K в индексе
сегодня утром - 0, трафа почти не было
Сейчас бот опять по сайту лазит, по второму кругу, уже 25К съел :)
даже не знаю, что дальше, кто-нибудь сталкивался?
дор однозначно, а палить нехорошо
фильтруй траф. уников на партнерку остальное сливай в помойку, т.е. сюда
По последнему дору(50 сабов по ~1000 страниц):
через день бот съел 50 морд
через 5 - бот съел все страницы на всех сабах
через неделю-полторы(апа не было тогда): 1900 стр в индексе
следующий АП - сайт выпал.
через неделю, т.е. вчера вечером: ~50K в индексе
сегодня утром - 0, трафа почти не было
Сейчас бот опять по сайту лазит, по второму кругу, уже 25К съел :)
даже не знаю, что дальше, кто-нибудь сталкивался?
жжу не могу. наверное уже бентли купил...
яша чем дальше тем больше похож на раму становится
Похоже на откат. Для апа както слабовато
ясен пень яндексу.
а смысл? не нужно доказывать. каждая страница индивидуальна.
WinWayDoor, а что у тебя за парсер? Вот у меня есть парсер директа, только он парсит уж больно медленно :(
на держи парсер
есь человек сделает. готовы растаться 0,2к евро?
Раньше зависило от бюджета. вытаскивали по однокеренным по три - четыре странице - короче топ засирали. А сча может и не сработать.
а трояноф там небыло? при всем уважении к подрастающиму покалению вы все такие наивные )))