lord_alfred

Весь форум парсит ночью xDDD

Заметил багу: когда парсил, нажал на "стоп мотор", а потом решил возобновить парсинг - в списке появились пустые строчки и, по-моему, вообще парсинг не продолжился, хотя должен был идти с места, где я запаузил

bell387, потому что сейчас в каждом поисковике есть "Быть может, вы искали..."

Вордстат посмотрите

Не-не =) Ты меня не понял. Парсятся же разные кеи, поэтому получается, что

кей1_0 - 1000

кей1_1 - 900

кей1_2 - 800

кей1_3 - 700

кей2_0 - 1500

кей2_1 - 1200

кей3_0 - 2000

понял мыслю? =)

seotouareg, а в чём дело? Я уже юзаю xD

Что бы хотелось увидеть:

- убрать горизонтальную строку прокрутки у кеев

- сортировку по столбцу "количество"

- при сохранении в выборе типа файла "с количеством" и "без количества запросов"

- уменьшить прогу в ширину =)

- при сохранении убирать везде "+"

- сделать расширенное сохранение: чтоб можно было указать в каком диапазоне количества запросов сохранять кеи

- перед парсингом убить повторяющиеся кеи

- отображать сколько введено кеев (чтоб прогнозировать удобнее было)

Вопросы:

- когда учитываются стоп слова? При сохранении или при парсинге? Хотелось бы, чтобы при сохранении, потому что я отлавливаю большинство какашек именно после парсинга.

- юзается anti-captcha.com? Или какая-то другая система? Лучше в проге указать домен, а не просто название

А так - респект! Вещь нужная, особенно, когда лень переделывать свой парсер xD

Так же интересны данные партнёрки

ужас... Всё равно, что сказать: хочу секса, но девушек никогда не видел.

Если хотите научиться программировать, то вам явно не с доргена нужно начинать.

Конечно, если вы такой умный и упорный, то вы напишите такой дорген... через полгода-год из-за неимения практики в том ЯП, который выберите.

Удачи вам, товарищ!

1. Регулярки для поиска прокси:

  "#(\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}|[\w\-]{2,20}\.\w{2,4})\:(\d{2,6})#i",
  "#<td[^>]*>\s*(\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}|[\w\-]{2,20}\.\w{2,4})\s*</td>\s*<td[^>]*>\s*(\d{2,6})\s*</td>#si",
  "#\<\/td\>\<td\snowrap\>([\w.-]+?)\<\/td\>\<td\>(\d+)\<\/td\>\<td\>#si",
  "#<td>([\w.-]+?)<\/td><td>(\d+)<\/td><td>#si",
  "#\s<td>(\d+\.\d+\.\d+\.\d+)<\/td>\D+\s<td>(\d+)<\/td>#si",
  "#bgcolor=\#ffffff>([\w.-]+?)<\/td><td\swidth=\"25%\"\snowrap\sbgcolor=\#ffffff>(\d+)<\/td>#si",
  "#<li><a\shref=\"\/cgi-bin\/fp.pl.*?>(.+?)<\/a>#si",
  "#\sheight=17>([\w.-]+\.\w+)<\/td>\D+\sheight=17>(\d+)<\/td>#si",
  "#\>(\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3})\<\/div\>\<\/td\>\s*<td\>\d{2,6}\<\/td\>#si",
  "#\>(\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}):\s*(\d{2,6})\<\/td\>#si"

2. Для того, чтоб скрипт не вылетал на 500 ошибке и чтоб не вис нужно добавить перед концом цикла (перед фигурной скобкой) у обеих файлов:

@ob_flush(); @flush();

3. В проверке прокси не учтено следующее:

- CURLOPT_PROXYPORT

- CURLOPT_PROXYTYPE (значения, которые может принимать: CURLPROXY_SOCKS4, CURLPROXY_SOCKS5, CURLPROXY_HTTP)

- CURLOPT_PROXYUSERPWD (пусто должно быть)

Если всё это сделайте, то будет норм скрипт, а так - даже не похоже на "пять минут на колене" =)

Ну, хз. Если тебе надо пару дней только втыкать в чужой код, то да - долго придётся. Не нужно переубеждать меня в том, что я хорошо знаю и уже писал почти подобное.

А ещё лучше помнить русский язык и после школы. Он не для того изучается, чтоб забыть его после школы.