PHP-скрипт для парсинга Яндекс.Каталога

Dreammaker
На сайте с 20.04.2006
Offline
569
#11
wzp
На сайте с 29.08.2005
Offline
124
wzp
#12
Pol Fransheski:
Прошу прощения
За что отвечает $delay = '3'; ? ( Програмёр я никакой )
И ещё один вопрос
Запустил скрипт Он спарсил 2000 урлов Хотя в разделе 6500.

яндекс только 100 страниц в пагинаторе показывает.

AK
На сайте с 02.11.2006
Offline
33
#13
Kletskov:
Андрей, подскажите новичку как составляются паттерны (шаблоны) для парсинга. Я изучал ваши паттерны, но в них так и не разобрался. Весь интернет перерыл, но так и не нашёл. Не могли бы Вы скинуть ссылочку или вкратце рассказать о правилах составления паттернов?

$np_pat = '/<a target="_self" href="(.*)"><font color="#333333">след.<\/font><\/a>/U';
$yc_pat = '/<li>\n<font><a.*href="(.*)".*>.*<\/li>/isU';

$pattern = '/<table border="0" width="100%" cellspacing="0" cellpadding="5">(.*?)<\/table>/is';
$pattern2 = '/<tr class="tlist".*?><td><a href=".*?">(.*?)<\/a><\/td>[\n]*<td align=["]*right["]*>([\d]+)<\/td><\/tr>/is';

Объясните на этих примерах суть.
Заранее благодарю

Посмотрите http://www.regexbuddy.com/

Я сам на нее наткнулся буквально вчера =) Там есть примеры всякие.

stussy
На сайте с 24.03.2006
Offline
93
#14

у меня скрипт из категории Спорт вытащил 2000 ссылок, а там 3800. С чем может быть связано?

Покупаю сайты.
AK
На сайте с 02.11.2006
Offline
33
#15

одно из:

1) яндекс заблокировал ваш айпи

2) закончился тайм-лимит выполнения скрипта

stussy
На сайте с 24.03.2006
Offline
93
#16

Нет. по другим разделам продолжает.

А тайм-лимит как-то изменить можно? (сорри, далеко не программер).

PS скинул бы на благотворительность несколько вмз, если сделаете из скрипта так, чтоб он сразу по 50 ссылок разбивал. то есть тупо 2 br или еще что-то между каждыми 50...чтоб скопировать 50 и вставить в сапе...А то так заколебаться можно 2000 ссылок по 50 отсекать.

Спасибо.

юни
На сайте с 01.11.2005
Offline
924
#17
stussy:
А то так заколебаться можно 2000 ссылок по 50 отсекать.

Эт точно. :) Минут 20 уходит, чтобы всё загнать.

https://searchengines.guru/ru/forum/944108 - прокси-сервис на базе операторов домашнего интернета, сотни тысяч IP-адресов, канал от 20 Мбит
stussy
На сайте с 24.03.2006
Offline
93
#18

Можно, конечно, и студентов посадить.

Особенно если проектов больше 30-40.

Но мне кажется, что это не так сложно реализовать.

юни:
Эт точно. :) Минут 20 уходит, чтобы всё загнать.
юни
На сайте с 01.11.2005
Offline
924
#19

stussy, основаня проблема как раз в сапе, когда она начинает переваривать 1000 ссылок... потом 1050.... потом 1100.

А если туда весь "Бизнес" загнать? Сколько там сайтов, пятизначное количество? Легче уговорить Авелона сделать загрузку избранного текстовым файлом.

Жень, ага? :)

stussy
На сайте с 24.03.2006
Offline
93
#20

Тогда готов и Жене несколько wmz отдать, Avelon, можешь снять несколько баксиков с моего профиля в сапе, если сделаете.:)

юни:
stussy, основаня проблема как раз в сапе, когда она начинает переваривать 1000 ссылок... потом 1050.... потом 1100.

А если туда весь "Бизнес" загнать? Сколько там сайтов, пятизначное количество? Легче уговорить Авелона сделать загрузку избранного текстовым файлом.

Жень, ага? :)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий