ура меня разбанили на
http://stat.yandex.ru/queries/last20.xml
Думаю с задержкой в 1 сек действително погорячился, и жадность как говорят сгубила :)
радует что:
1. Бан не вечный и недолгий (1-2 часа)
2. Прокси не нужны/ нужны немного (10-20 можно найти)
буду эксперементировать с частотой граббинга (думаю раз в 10-30 сек можно ставить на ночь и сутра получить большую базу)
РАБОТАЕМ ДАЛЬШЕ :)
задержка 1 сек, вместо крона использовал свою программу
буквально через минуту работы скрипта схватил бан, до сих пор не разбанен. Проксей нужно будет ОЧЕНЬ много чтобы собрать что-то внятное.
класс...
а на парсил всего то 10к запросов=\
без прокси скрипт абсолютно бесполезен.
топ 10 на 10к запросов:
http 6
ОДНОКЛАССНИКИ 6
odnoklassniki.ru 5
www.odnoklassniki.ru 4
Знакомства 4
погода 4
анекдоты 3
Прогноз погоды 3
одноклассники.ru моя страни�... 3
vkontakte.ru 3
mail.ru почта 3
почта 3
mail.ru 3
vuku 2
В КОНТАКТЕ 2
Онлайн сервисы конечно же есть, но я не хочу изобретать очередной велосипед.
Я лично использовал эту программу для того чтобы оценить насколько долго загружается страница в пиковые моменты (вечера, праздники), долгая загрузка = потере клиентов, а если роботы не смогут пробиться то черевато проблемами с поисковиками.
ну чего товарищи, есть ли смысл с majordomo переходить на masterhost? Все таки vdsки и выделенные сервера меня пугают, да и вопрос опять же у кого брать vds...
в каждой шутке есть доля шутки
по существу, образы серверных ОС со всем набором необходимого софта где скачать?
ну впринципе я думаю и можно уже размещать обьяву в этом разделе о новом хостинг центре с линейкой тарифных планов windows xp denwer)
Определяю дорген, обучаю дорам, дарю идеи, пишу чушь - за чашку риса, ворую убиваю, e-boo гусей, жду ответного гудка,
извините не сдержался)
3й пункт это что типа:
ping -t siski-pipiski.narod.ru ?)))))))))
да мне так, чисто для сообственного опыта и интереса) думаю после того как осознаю всю сложность администрирования сообственного хостинга, желание писать гневные жалобы в службу поддержки при каждом 5минутном дауне отпадет)
да, я понимаю, но у них же есть прямо готовые образы которые ставяться, вот можно ли где нибудь эти образы найти для домашнего использования?
да размещать ничего серьзного не хочу, так пару дорвеев, ради интереса)
