Форум Сайтостроение Веб-строительство

Парсер балансов из бирж ссылок

Garrett
На сайте с 10.10.2009
Offline
72
Garrett
669

Привет всем!

Решил написать для себя страничку на php, которая бы отображала баланс в системах покупки ссылок: Webeffector, Sape, Seopult и т.п. Нужна, для получения оперативной информации где кончается баланс.

Вычитал, что это делается с использованием модуля парсинга "PHP curl", пробывал написать самостоятельно, перерыл кучи примеров, проблема возникла уже на первом шаге авторизации.

Для параметра 'CURLOPT_POSTFIELDS' , нужен адрес передачи логина и пароля типа "login=$login&pwd=$passwd', но я никак его немогу найти для вышеупомнятых бирж ссылок. Использовал сниффер "httpfox", но он ничего не находит в поле Post Data пусто.

Вообщем буду благодарен, кто может помочь или показать свою наработку, чтобы понять куда рыть и как правильно сделать самому.

P.s. Опыт в php на уровне "собрать что-то" из чужих скриптов, не программист я. :)

Вот кусок кода, пытающися авторизоваться в Webeffector и вывести содержимое страницы после авторизации (проблема: не может авторизоваться):


<?
$login = 'ivan'; //Логин
$passwd = 'pass123'; //Пароль
$user_cookie_file = '/temp/cookies.txt'; //Полный путь до файла, где будем хранить куки
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL,"http://client.webeffector.ru/");//Куда идём
curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);//Возвращаем строку
curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)");//Юзер агент
curl_setopt($ch,CURLOPT_REFERER,"");
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);//Автоматом идём по редиректам
curl_setopt($ch, CURLOPT_HEADER, array("Content-Type: application/x-www-form-urlencoded; charset=utf-8")); //Хеадер
curl_setopt($ch, CURLOPT_COOKIEFILE, $user_cookie_file); //Куки раз
curl_setopt($ch, CURLOPT_COOKIEJAR,  $user_cookie_file); //Куки два
curl_setopt($ch, CURLOPT_AUTOREFERER,1);//Автоматическое выставление рефа, иногда косячит
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);//В большенстве случаев помогает, если используется https
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);//В большенстве случаев помогает, если используется https
$html = curl_exec($ch);

curl_setopt($ch, CURLOPT_POST,1); //Будем отправлять POST запрос
curl_setopt($ch, CURLOPT_POSTFIELDS,"login=$login&pwd=$passwd");//Здесь косяк, неизвестно, что отравлять для авторизации
curl_setopt($ch, CURLOPT_URL,'http://client.webeffector.ru/login.html');//Куда отправляем
curl_setopt($ch,CURLOPT_REFERER,"http://client.webeffector.ru/");//Откуда пришли
$html = curl_exec($ch);

//далее идём на нужную нам страницу
curl_setopt($ch, CURLOPT_URL,'http://client.webeffector.ru/secure/index.html');
$html = curl_exec($ch);
//ну и дальше парсим $html предварительно стерев заголовок
echo $html;
?>
Я легко управляюсь с SAPE ссылками (http://sapemaster.ru/seo/bc0679a5636ac8addda3f3b20fcbffe6/) и легко анализирую конкурентов (http://www.yazzle.ru/seo/a75dc1481e231abcc1768459867db8ef/).
G.Suvorov
На сайте с 27.11.2007
Offline
50
G.Suvorov
#1

был когда-то такой плагин для фф - moneyquake там были готовые примеры. он с открытым кодом, качните да поправьте чутка под текущий дизайн. и удобнее будет ) все в вашем браузере.

а так - если самому лень кодить- обращайтесь, сделаем вам мониторилку.

нужны данные? стучись сюда: парсеры, грабберы, data-mining (http://basilisklab.com/iru.html). РосПравосудие (http://rospravosudie.com).
Chrome Frame приложения на Windows Live Writer обрёл В Картах Google для
Garrett
На сайте с 10.10.2009
Offline
72
Garrett
#2

Разобрался с аддоном httpfox, правильно вычленил адрес отправки логина, пароля, все пашет. Грузится внутряк Вебэффектора, а дальше баланс спарсить дело техники. 


<?

$login = 'ivan'; //Логин

$passwd = 'pass123'; //Пароль

$user_cookie_file = '/temp/cookies.txt'; //Полный путь до файла, где будем хранить куки

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL,"http://client.webeffector.ru/");//Куда идём

curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);//Возвращаем строку

curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)");//Юзер агент

curl_setopt($ch,CURLOPT_REFERER,"");

curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);//Автоматом идём по редиректам

curl_setopt($ch, CURLOPT_HEADER, array("Content-Type: application/x-www-form-urlencoded; charset=utf-8")); //Хеадер

curl_setopt($ch, CURLOPT_COOKIEFILE, $user_cookie_file); //Куки раз

curl_setopt($ch, CURLOPT_COOKIEJAR,  $user_cookie_file); //Куки два

curl_setopt($ch, CURLOPT_AUTOREFERER,1);//Автоматическое выставление рефа, иногда косячит

curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);//В большенстве случаев помогает, если используется https

curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);//В большенстве случаев помогает, если используется https

$html = curl_exec($ch);



curl_setopt($ch, CURLOPT_POST,1); //Будем отправлять POST запрос

curl_setopt($ch, CURLOPT_POSTFIELDS,"j_username=$login&j_password=$passwd");//Что отправляем

curl_setopt($ch, CURLOPT_URL,'http://client.webeffector.ru/j_spring_security_check');//Куда отправляем

curl_setopt($ch,CURLOPT_REFERER,"http://client.webeffector.ru/");//Откуда пришли

$html = curl_exec($ch);



//далее идём на нужную нам страницу

curl_setopt($ch, CURLOPT_URL,'http://client.webeffector.ru/secure/index.html');

$html = curl_exec($ch);

//ну и дальше парсим $html предварительно стерев заголовок

echo $html;

?>

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий