Среди вебмастеров, однако, ходит легенда о Том Последнем, Настоящем Алгоритме, познав который, можно вертеть на болте поисковые системы. В поисках этого алгоритма многие проводят всю жизнь, в детский наивности своей думая, что они могут постичь мудрость Богов Олимпа и их Великий Рандом. :)
Спасибо, но мне не надо отдельные офферы. Мне нужна глобальная ТОВАРКА (!!!) где есть фид с десятками, сотнями тысяч, миллионами товаров. Некогда и неохота копаться в отдельных офферах, под них что-то там делать итп. :)
Финансы, инсталлы, дейтинг НЕ ИНТЕРЕСНЫ в рамках данного вопроса. Только товарки. :)
Ищется глобальная товарная партнерка, которая бы отвечала следующим условиям:
1. Гео - весь мир включая африку, азию, латинскую америку, арабский мир и прочие, БЕЗ упора на "страны 1 мира".
2. Дают XML фид с ПОДРОБНЫМ (!!!) описанием товара, не только базовые характеристики но полное описание, все параметры, изображения, и желательно отзывы по товару.
3. Все товары для всех гео. Без этих делений типа "вот это только азия, а вот это только турция и ближний восток".
Или я слишком многого хочу?
Спасибо! :)
(записывая в тетрадочку) Корректируем кол-во страниц на дор до 500 макс. :)
Хорошо, тогда нахрена там это стоит? "в ответе должно быть:" и далее отлупы от гугля)? Я все же думаю, что чекер в Пандоре не просто так, типа "прокси работает" проверяет, а конкретно применительно к гуглю. То есть забанен или нет ИП в самом Гугле. Собственно это логично, не? Нам ведь не нужен некий абстрактный сферический прокси в вакууме, а чтобы парсить было через него. :)
Ну так там в конфиге задается - какой сайт загрузить (гугль) и что искать в ответе чтобы убедиться что оно работает.
Там логическая ошибка в фразеологии. В конфиге указаны ТОЛЬКО негативные ответы от гугля, означающие, что прокси не работает, но фраза построена таким образом ("в ответе должно быть") что думается что это, что должно быть, есть признак рабочести проски, хотя все как раз наоборот. Именно это я их хочу получить - подтверждение того, что я правильно понимаю, что там в чекере неверно сформулировано. :)
Может где-то и есть но не видно на первый взгляд. Либо забыли сделать такое. По большому счету, для работы Контент Бокса, к которому эта штука приделывается, это неважно - он и так все парсит, без разделения на элите или нет. Но я бы конечно был бы только за то, чтобы прокси еще чекались на анонимность. :) Ну это уже хотелки так сказать чисто опциональные, потому что я использую этот проксичекер (вернее наловленные им прокси) для другого софта. :)
Я знаю что означает палка. Вы не поняли вопрос. :)
У меня вопрос про проксичекер. Вообще, при некоторой недоработаннсти продукта, он мне очень нравится и по какой-то странной причине, он выдает намного больше рабочих проксей, чем всякие альтернативные продукты. Так что даже имея лицензии на "альтернативные", я пользуюсь проксичекером пандоровским бОльшую часть времени...
Вопрос вот в чем. Инструкции как всегда нету, поэтому надеюсь на автора.
В настройках прокси чекера, для чекинга прокси на валидность, есть такое:
Обращаться к ресурсу: http://www.google.com
В ответе должно быть: <title>Google|src="/sorry/image?id=|/sorry/IndexRedirect?|<h1>We're sorry...</h1>|your computer or network may be sending automated queries.|//support.google.com/websearch/answer/
И вот тут у меня когнитивный диссонанс. Судя по написанному, чтобы прокси был засчитан как рабочий, надо, чтобы гугль дал отлуп!!! То есть в ответе ДОЛЖНО быть "сорри идите в задницу", что довольно таки странно логически, нет?
Может быть там должно быть написано "в ответе НЕ должно быть:" и тогда все сходится - если гугль не выдает "сорри" а открывается успешно, то все в порядке? Потому что иначе это реально не имеет никакого смысла.
Полагаю что там все же забыли написать "не" в стринге. Если я прав, то второй вопрос:
Я парсю яшу. Мне важнее яша. Как правильно прописать в проксичекере яшу? В смысле ее бан-ответ, означающий что прокси не подходит.
Вообще, чекер рулезный, я с его помощью через прокси спокойно паршу гигабайты текстовки Контент Боксом. Но если приделать к нему чуть чуть полезностей, то будет совсем. Можно пару предложений?
1. Оно выплевывает капчи иногда, когда ресурс с проксями требует ввести капчу, и ждет. Кстати имплементация глючная, после ввода пары тройки капчей вываливается ошибка и чекер умирает. Ну это баг, а вот запрос фичи: можно ли в конфиге прописать ему сервис для распознавания капчи (у меня капмонстер2, прекрасно работает с Контент Боксом, почему бы не подружить его с проксичекером?)
2. В настройках типа прокси хотелось бы иметь возможность объединить http и https, а также socks4 и 5 в одном пункте. А то щас оно ищет ЛИБО http ЛИБО https ЛИБО сокс 4 ЛИБО 5. А многие проги принимают http И https, или socks 4 И 5 сразу. Предложенное мной сильно бы повысило полезность чекера. То есть я предлагаю к существующему в дропдауне добавить два пункта к имеющимся.
3. Сделать авто-убой источников не содержащих прокси или дохлых. А то допустим закинул я чекеру пару десятков свежих проксей, оно напарсило кучу источников, а среди них дофига дохлых. И болтаются они и жрут ресурсы. Убивать их надо автоматом, нет там ничего - давай досвидания.
4. Возможно некий статический лист прокси источников типа фавориты... Возможно с макросом, типа "http://proxylist/com/proxies/{current-date}" который мона определять для каждого источника, чтобы всегда побирало сегодняшние, свежайшие.
Ну вот примерно навскидку что было бы здорово сделать. Это асче риальнэ? :)
Спасибо за идею, поставил себе нечто тематически близкое :)
Надо делать роботов, которые будут много работать пердседателями на лошадях :)
