просто лишняя строчка была? чувствую мне уже пора начинать читать ваш код прежде чем комментировать :) честно говоря думал что редирект был сделан штатными средствами, потому и ошибка такая (FOLLOWLOCATION это автоматическая отработка переадресаций).
А истио находит? 😆
шутка ) думаю что не найдет. дцпфайндер более агресивный и придирчивый.
за статейку из 900 знаков возьметесь?
только мне надо не тысячу а тысяч пятьдесят. Понятно что уникальность внутри будет хромать...
Если подходит то плиз в аську за деталями.
bimcom, у чела safe-mode включен.
без вариантов - CURLOPT_FOLLOWLOCATION не пойдет у него.
тут надо править конфиги хостера :)
или менять логику отработки переадресации.
вот кусочек из одного моего парсера который обходится без этой фичи.
function bot1($url,$n=1) { $user_agent="Istio.Bot (istio.com)"; // получим контент $ch = curl_init(); // initialize curl handle curl_setopt($ch, CURLOPT_URL, $url); // set url to post to curl_setopt($ch, CURLOPT_HEADER, TRUE);// curl_setopt($ch, CURLOPT_FAILONERROR, 1); // Fail on errors curl_setopt($ch, CURLOPT_RETURNTRANSFER,1); // return into a variable curl_setopt($ch, CURLOPT_TIMEOUT, 15); // times out after 15s curl_setopt($ch, CURLOPT_USERAGENT, $user_agent); $document = curl_exec($ch); curl_close($ch); // ****************************************************************** // извлечем HTTP_HEAD // ****************************************************************** list($http_head,$document)=explode('<',$document,2); $document='<'.$document; // ****************** if (strstr($http_head,'HTTP/1.1 3') AND $n<=3) { preg_match_all('@^Location:[ ]+([^ \s\r\n\t\f]*)@mi', $http_head,$url); $url=$url[1][0]; $document=bot1($url,$n+1); $url=$document['URL']; $document=$document['document']; } // проверим не utf ли? $utf=FALSE; if (strstr($http_head,'utf-8') OR strstr($http_head,'UTF-8')) $utf=TRUE; return array('document'=>$document,'URL'=>$url,'utf'=>$utf,'http_head'=>$http_head,'file_len'=>strlen($document)); }
Немного кривовато, и немного больше функций чем нужно вам, но работает :)
думаю упростить будет проще чем писать заново.
mendel добавил 11.12.2008 в 11:31
PS: а вообще лучше в аську стукнись :)
Статью получил.
В принципе четыре с плюсом.
1 - статья слишком маленькая (хотя о размере мы не договаривались, но меньше тысячи знаков это слишком мало)
2 - были несколько абзацев которые пришлось удалить :) и другие небольшие ляпы показавшие что копирайтер не совсем разобрался в теме :)
при этом были учтены мои пожелания, был выдержан запрошенный стиль и в принципе статья получилась более менее "продающей". По крайней мере с виду на такую похожа.
спасибо за отзыв, но вы не ответили на вопрос - "нормально ли теперь работает поиск?"
угу. я тоже ее не нашел. думаю что можно достать, но лично мне такая инфа была не нужна.
:) о чем я и говорил.
Антон, вы определитесь - десять или восемь? :)
да и вообще дешево что-то. Степень уникальности?
Примеры есть?
Отзывы?
иногда люди обедают. и со мной такое тоже случается :)
ответил.
ваш хеш это тот же пароль.
И если человек знал где его искать, то он будет знать как его использовать.
А вот то что вы держите конфиг открытым для доступа из внешнего мира это точно не есть норма :) Если лень играться с htaccess и тп (мне лично лень в дешевых проектах) то можно делать конфиг в виде:
<?php GLOBAL $CONFIG; $CONFIG=array( 'параметр1'=>'значение1', 'параметр2'=>'значение2', 'параметр3'=>'значение3', 'параметр4'=>'значение4' ?>
ну или что-то вроде... да, менее эргономично, зато безопасно.
не в два раза, а на сотню миллисекунд для каждого запроса. У вас же многопоточность, так что это не влияет ни на что. Если вы делаете запрос с паролем, то вы получаете редирект на адрес с сессией. поскольку html-кода там нет, то и времени на его обработку не нужно. А вот парсинг html-кода действительно увеличивает время обработки в разы.
Это вам кто сказал? :)
Любимов утверждал что все запросы абсолютно идентичны что в csv что в html...
я правда ему не верю - в csv я получаю больше информации чем в html. :)
опровержение вашего утверждения - http://www.liveinternet.ru/stat/istio.com/index.csv?password=testpass
смотрим данные, сравниваем с тем что в html... :)
Странно. У меня получается :)
Вы не любите кошек? Может быть вы просто не умеете их готовить? :)
PS: вы не обижайтесь, я не придираюсь - то что выкладываете свою работу в публик это уже хорошо. Просто не первый день работаю со статистикой ливинета, и ваши не совсем правильные высказывания немного коробят.
xml юзать надо. Тогда и капчи не будет.
в принципе все просто, главное лимиты не превысить :)
Если есть вопросы - пишем в асю.
offtop: последний раз в РСЯ мне сказали что у меня посещаемость маленькая. Так что есть надежда что таки примут, тогда и лимиты снимем, и сделаю такой сервис по найденным ссылкам.
