Парсил сайт - забанили IP - купил ещё 1н - не работает

Тема много раз поднималась. php.net в помощь.

Щас пришол ответ от хостера - говорит что исходящие соединения с VPS инициируются только с 1го IP адреса.

Через сокеты это ограничение обходится?

Да.

Для curl тоже есть эти опции, но не помню на них ссылок.

ООО с курлом привычнее :) щас буду искать.

И правильно, нефиг воровать.

Boris A Dolgov,

Спасиба за наводку!

Опция для CURL CURLOPT_INTERFACE - позволяет менять интерфейсы.

Самый прикол, что на некотрых VPS функция просто не сработала, но не на всех - наверное зависит от особенностей виртуализации!

Я возможно ошибаюсь, но люди которые пишут парсер для поисковой системы или системы статистики не будут задавать подобный вопрос на форуме, а спокойно почитают доки. Потому как квалификация достойная. Ошибаюсь?

Ошибаетесь - взять хотябы меня - я далеко не профи в програмирование, даже проще сказать новичек.

PS.

Парсер страничек пишется даже мной за 1 минут максимум.

$url="сайтец";

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL,$url); // set url to post to

curl_setopt($ch, CURLOPT_TIMEOUT, 20); // times out after 20s

$result = curl_exec($ch); // run the whole process

curl_close($ch);

Вот готовый парсер, а дальше делай с полученными данными все что хочешь используя строковые функции - разве необходимо гигантскую квалификацию?

парсер написать не сложно... чего ему там писать.. а вот ботов-участников всех соцсетей с своими блогами на фриблоргхостах и т.п. - вот тут уже уровень нужен.

Разные парсеры бывают... ;)

Две недели, не так давно, угрохали на нормальный парсер... Чтоб оперативы не хавал и парсил с нормальной скоростью(около 3-4 тысяч страниц в минуту при расходе 1гиг оперативы сервака)

Пришлось на перле писать, т.к. пхп тут совсем не годится.

P.S. В предидущем сообщении парсер будет выводить страницу, а не сохранять в переменную $result Чтоб сохранял надо добавить CURLOPT_RETURNTRANSFER...

P.P.S. Хотя если этот пример назвать парсером, то почему бы тогда не $result = file_get_contents('http://ya.ru/'); 🚬