Восток

Восток
Рейтинг
90
Регистрация
27.09.2009

ура меня разбанили на

http://stat.yandex.ru/queries/last20.xml

Думаю с задержкой в 1 сек действително погорячился, и жадность как говорят сгубила :)

радует что:

1. Бан не вечный и недолгий (1-2 часа)

2. Прокси не нужны/ нужны немного (10-20 можно найти)

буду эксперементировать с частотой граббинга (думаю раз в 10-30 сек можно ставить на ночь и сутра получить большую базу)

РАБОТАЕМ ДАЛЬШЕ :)

задержка 1 сек, вместо крона использовал свою программу

буквально через минуту работы скрипта схватил бан, до сих пор не разбанен. Проксей нужно будет ОЧЕНЬ много чтобы собрать что-то внятное.

класс...

Доступ к нашему сервису запрещен!

Вполне возможно, что ваш компьютер заражен вирусом или spyware (вредоносной программой), которая автоматически обращается к Яндексу.

Рекомендуем вам проверить компьютер на вирусы или обратиться к администратору вашего компьютера или вашей сети.

О других возможных причинах и способах их устранения вы можете узнать здесь.

а на парсил всего то 10к запросов=\

без прокси скрипт абсолютно бесполезен.

топ 10 на 10к запросов:

http 6

ОДНОКЛАССНИКИ 6

odnoklassniki.ru 5

www.odnoklassniki.ru 4

Знакомства 4

погода 4

анекдоты 3

Прогноз погоды 3

одноклассники.ru моя страни�... 3

vkontakte.ru 3

mail.ru почта 3

почта 3

mail.ru 3

vuku 2

В КОНТАКТЕ 2

Онлайн сервисы конечно же есть, но я не хочу изобретать очередной велосипед.

Я лично использовал эту программу для того чтобы оценить насколько долго загружается страница в пиковые моменты (вечера, праздники), долгая загрузка = потере клиентов, а если роботы не смогут пробиться то черевато проблемами с поисковиками.

ну чего товарищи, есть ли смысл с majordomo переходить на masterhost? Все таки vdsки и выделенные сервера меня пугают, да и вопрос опять же у кого брать vds...

в каждой шутке есть доля шутки

по существу, образы серверных ОС со всем набором необходимого софта где скачать?

Денвер на него(для начинающего админа =))

ну впринципе я думаю и можно уже размещать обьяву в этом разделе о новом хостинг центре с линейкой тарифных планов windows xp denwer)

Определяю дорген, обучаю дорам, дарю идеи, пишу чушь - за чашку риса, ворую убиваю, e-boo гусей, жду ответного гудка,

извините не сдержался)

3й пункт это что типа:

ping -t siski-pipiski.narod.ru ?)))))))))

да мне так, чисто для сообственного опыта и интереса) думаю после того как осознаю всю сложность администрирования сообственного хостинга, желание писать гневные жалобы в службу поддержки при каждом 5минутном дауне отпадет)

У fistvds vds'ы, а не отдельные сервера для каждого клиента.

да, я понимаю, но у них же есть прямо готовые образы которые ставяться, вот можно ли где нибудь эти образы найти для домашнего использования?

Смотрите, чтобы ваши сайты не вылетали из индекса из-за этих проблем.

да размещать ничего серьзного не хочу, так пару дорвеев, ради интереса)

Всего: 84