Форум Сайтостроение Веб-строительство

php граббер

Сергей Владимирович
На сайте с 24.08.2008
Offline
121
Сергей Владимирович
1305

Возникла необходиость в нем ...

Поискал в сети , а они либо платные, либо левые какието ...

Вот есть варинат только малость доделать нужно.

А именно сделать чтобы он сохранял в файл, но это то не прблема. Надо чтобы перед тем как сохранить в файл он его сначала октрыл, прочитал, проеврил если есть такое уже то не писать, а если нет добавить... а как седлать проверку я что то не знаю ...

на сегдняшний день грабер выглядит примрно так

<?php
$url = "http://nakhodka.info";
$unique_start ="|09</div>";
$unique_end = "Следующая страница &gt;&gt;";
function weather($url, $unique_start, $unique_end) {
$code = file_get_contents($url);
preg_match('/'.preg_quote($unique_start,
'/').'(.*)'.preg_quote($unique_end, '/').'/Us', $code, $match);
return $match[1];
}
$filter1 = weather($url, $unique_start, $unique_end);
$stringi = ereg_replace('nakhodka.info', 'ksv.su', $filter1);
echo $stringi;
?>

А вот пример работы http://info-credit.org.ru/test.php

Массовый постинг на AVITO.RU | IRR.RU (http://job.consultant-plus.com/)
[Удален]
#1

15 баксоф.

J
На сайте с 02.02.2009
Offline
53
jumash
#2

работать с БД не позволяет непреодолимая сила?=)

Сделаю на перле с MySQL или BerkeleyDB (файловая БД) за 10вмз

[Удален]
#3

jumash, плохо ты прочитал тс. он гвоорит надо сохранять в файл.

bearman добавил 18.04.2009 в 23:47

предложение в силе. 15 *уев и он ваш.

Сергей Владимирович
На сайте с 24.08.2008
Offline
121
Сергей Владимирович
#4

Спасибо за интересные предложения. Но господа буддте обьективны

вопрос был:

Надо чтобы перед тем как сохранить в файл он его сначала октрыл, прочитал, проеврил если есть такое уже то не писать, а если нет добавить... а как седлать проверку я что то не знаю ...

А не от том кто дешвлеве всех, лучше, всех и быстрее все напишет граббер.

Тут от части дело в том что хочется малось в пхп разобратся ... если что нить получится выложу БЕСПЛАНТО ((((=

Маны по пхп сиала...

HraKK
На сайте с 02.03.2009
Offline
128
HraKK
#5

Работа стоит денег, Вы так не считаете?

я гарант (/ru/forum/493343) уже не оказываю данные услуги, извините.
Сергей Владимирович
На сайте с 24.08.2008
Offline
121
Сергей Владимирович
#6

HraKK, Безусловно, но в данном случае хотелось бы получить просто совет от гуру (=

Я же уже писал расберусь сам раз, нонче $ береться за все.

Всем спасибо.

[Удален]
#7

а*уеть какие все понимающие пошли. но от этого корман не отвисает :(

php.net/file_get_contents

php.net/file_put_contents

тогда погуглите ТС

N_MONax
На сайте с 22.08.2007
Offline
112
N_MONax
#8

$stringi = ereg_replace('nakhodka.info', 'ksv.su', $filter1); замените на

$stringi = str_replace('nakhodka.info', 'ksv.su', $filter1);

Это работает как минимум быстрее...

О боже, я думал что грабите новости по-штучно и по-шаблонно, а вы просто выдираете всю страницу, подменяете ссылку на свою, и публикуете у себя...

Не хорошо так делать ...

N_MONax добавил 19.04.2009 в 05:13

bearman, file_put_contents работает только в 5 пыхе, поэтому лучше дописывать следующее:

if (!function_exists('file_put_contents')) {
function file_put_contents($filename, $data) {
$f = @fopen($filename, 'w');
if (!$f) {
return false;
} else {
$bytes = fwrite($f, $data);
fclose($f);
return $bytes;
}}}

N_MONax добавил 19.04.2009 в 05:16

А по хорошему в приведённой выше функции ТС для выполнения его цели надо заменить $f = @fopen($filename, 'w'); на $f = @fopen($filename, '+a');

Таким образом информация после каждого "парса" будет записываться в конец файла.

Только вот как он от дублей при записи при таком методе будет избавляться...

Полный спектр услуг в интернете. Быстро, Качественно, Дорого. Пишите в личку.
[Удален]
#9

N_MONax, изза таких как ты. пхп4 еще не умер. я знаю прекрасно что на пыхе4 это не пашет.

Сергей Владимирович
На сайте с 24.08.2008
Offline
121
Сергей Владимирович
#10

N_MONax,

почему все страницу ... там же настраиваеццо что выдернуть надо.

$unique_start

$unique_end

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий