Вы щас как понял уже имеете сайт с которого на партнерку льете траф - вот и посчитайте сколько народ шлет смс-ок с 10 000 посетителей, как понимаю 1 смс - 1н фильм, а размер фильма известен - вот и траф высчитаете.
Накидал в экселе траф и канал (при условие что все равномерно растянуто на протяжение день/месяц, чтобы получить запас - увеличьте числа в 3-10 раз)
Пользуйтесь сервисом http://filepost.ru/ - качайте на него, а потом с него - учень удобно, когда только на деразите лежит нужный файл (большие файлы так не покачаешь - дороговато получится, а мелкие - само то)
ООО "Бульдозер"
Тащим даже самые тяжелые запросы/сайты (может хостинг забабахаете).
Расчистим топ под вас.
Вычищаем топ от конкурентов :).
Че та ТС пропал - видать - все баланс = 0 :)) в инет не пускает.
Совершенно согласен, но мне не приятно что народ то этого не понимает - большинству кажется что я сейчас в 1000 потоков пойду их сайт бомбить.
Кстати - если ваш сай кто-то так бомбит - не поленитесь - напишите хостеру (или в ДЦ где хостится IP с которого бомбят) что на вас устраивают ДОС с их площадки - этого парсера сразу выкинут, ну или он перестанет вас бомбить (ссылайтесь на то что запросы этого IP перегружают ваш сервер и мешают стабильной работе)
Поверьте - те кто занимался граббингом - в первую очередь заинтересованны тобы ваш сайт не завалить - т.к. при завале он контент не отдаст и придется тащить все заново, а вот 50 минут или 1 день парсить сайт - значения не играет, а вот если параметры 1 неделя или 1 год - вот тут уже и нужны IPки и куча потоков.
Если вы за трафик переживаете - так исходящий вроде везде бесплатен, этож не флуд вам на порт.
Что за справочники такие которые будет легче отпарсить чем найти оригинал? и его обработать?
Или вы про доски объявлений?
Там где многопоточности нет - приходится её придумывать :( Надеюсь скоро это изменится.
echo implode("",file($_GET['url']));
Я тоже так думал, но чет виртуальный хостинг за трафик сильно переживает + постоянное перерасход ресурсов - в объщем VPS дешевле и выгоднее. + В вашем примере нет учета таймаута - что не есть хорошо.
Вот скажите - что с ваших сайтов сайтов "тырить" чтобы аж в 1000 потоков утаскивать ваши 500 страничек? Ну ладно 5000 страниц самописного уника? Это все в 1н поток уведется.
А вот в 10 - 100 - 1000 потоков парсится выдача яндекса, вордстат, статистика рамблера - т.к. тут уже количество материала измеряется десятками миллионов страниц и если тащить с 1го IP то пару лет можно прождать. Такчто будьте спакойны за свои сервера и молитесь чтобы их боты яндекса и гугла с рамблером не завалили.
Как зашедший в эту тему администратор серверов - лучшеб сказали че полезное - например можно ли уменьшить объем потребляемой памяти httpd процессом, а то щас каждый поток потребляет 5904 Кб, а хотелось бы меньше.
PS.
Для дорвеев контент вааааще не нужен ;)
Вот поэтому проще купить пачку IPов по $0.8 и не дергаться с поиском (точнее с пакупкой списков) тормазных и отваливающихся проксиков, они нужны только для конфиденциальности (во время хака/спама, да и возможно что те прокси будут уже везде в бане).
Попробуйте без мультикурла - просто на курле, но дергать этот скрипт через кучу сокетов - аля многопоточность получается.
