smexoblog.ru

Рейтинг
77
Регистрация
22.02.2010
MyOST:
Печально. Если наши выкладки не интересны, мы можем их не выкладывать, чтобы не дезинформировать пользователей.

У всех нервы на пределе. Не может один унтер-офицер идти в ногу, а вся рота идти не в ногу. Проблемы есть, и они довольно серьезные. Гайки закручены серьезно, большинство читателей этой темы не первый год работают с коллектором и знают, где увеличить задержку и таймаут.

Проблемы с капчей антигейта остались. Вчера про это писал - далеко не все разгаданные капчи ведут к заполнению строк в программе. Монитор выдает русские капчи, Вы вчера анализировали мой лог и обнаружили, что капчи разгадываются в латинице.

Как вариант - может есть смысл больше доменов яндекса прикрутить? Заметил, что с бай и кейзет вроде меньше капчи выдает.

А вообще, за эти несколько дней перепробовал сервисов пять прокси, повбивал руками и повтыкал на "все работники заняты". Слил прилично денег на высокие ставки в антигейте и всякие "элитные" и "супербуперэлитные" прокси. Вывод такой - лучше ХМЛ нет пока ничего. Надо покупать лимиты.

MIND:
Провели эксперимент со съемом поисковой выдачи Яндекса. С малыми задержками между запросами капча может появиться уже между каждыми 50 и чаще страницами. Если поставить разумные "человеческие" задержки около 8000 мс (8 сек), то сбор без капчи идет больше чем для 700 запросов (эксперимент еще не закончен, но результаты уже очевидны).

Попробуйте в "настройках - парсинг - поисковая выдача" для ПС Яндекс поставить задержки от 8000 до 10 000 мс. При этом кол-во потоков не должно превышать кол-во используемых в работе IP-адресов.

Вы что снимали? Позиции? На динамическом айпи, т.е. на свежем адресе даже с задержками в 40000-50000 мс при съеме конкуренции в яндексе - 4-5 запросов и капча в один поток. Да, отключал съем дополнительных параметров выдачи, думал, поможет, ан нет.

i-сapitalist:
А в антигейт прога шлёт is_russian=1 ?

Присоединяюсь к вопросу? И антигейт то же самое ответил:

"Чтобы кириллические капчи разгадывались корректно, необходимо слать флаг is_russian=1 к капче".

MIND:
smexoblog.ru, можно попробовать через Мегаиндекс АПИ поснимать.

Они, как прикрутили их к коллектору, вроде быстро все платным сделали? Мегаиндекс, похоже, тоже в проблемах. Позиции по сайтам несколько дней не может обновить.

По АПИ Мегаиндекса. Пополнил баланс, прикупил их юнитов, поставил в программе галку "использовать для поисковой выдачи яндекса". Бодренько проставились нули во всех колонках, юниты списались. Все. Буду ругаться с конторой этой.

Вот ответ на вопрос о возможности использования сервиса:

Добрый день,

В системе имеется метод scan_yandex_position, функционал которого подходит под Ваши требования. Проблема в том, что на данный момент метод не работает. Мы занимаемся восстановлением работоспособности api, но информация по срокам, к сожалению отсутствует.

MyOST:
smexoblog.ru, ну в целом вот прям сейчас проще вручную разгадывать, она не такая частая. Если не пром-объемы

Вот этой ерундой сейчас и занимаюсь. Отобраны ключи, почищены от мусора. Четыре тысячи осталось, поставил два потока в Кеи, одна капча на 10 позиций где-то. А в хорошие времена работалось на ура в 30 потоков. На 20 тысяч ключей вылетало около 200-300 капчей. Иногда банился айпи, но без проблем - динамический, перезагрузился и дальше.

MyOST:
smexoblog.ru, все подходит, они уже сами сообщили, что увеличат кол-во "китайцев с кириллицей" :)

"опубликовано: 2013-11-08 13:33:09 статус: новость прочтена
Русские капчи
В последнее время усилился спрос на распознавание русских капч. Мы приняли меры для увеличения русскоязычных работников в системе, ситуация будет по-немногу исправляться в ближайшее время, в том числе и ставки."

Ну я тоже им в твиттер отписался. Лучше всего сделали бы настройки, к примеру "только кириллица". За свою левую латиницу деньги снимают по 9,9 уе за 1000. Кому то геморрой, а кому то золотые времена.

MyOST:
посмотрите в стате, там КИРИЛЛИЧЕСКИЕ капчи разгадывают ЛАТИНИЦЕЙ , поэтому такой результат

Вот и я про это... Выходит, антигейт уже для яндекса не подходит? Ерунда полная, не сервис...

MIND:
smexoblog.ru, Вам антигейт отвечает: ERROR_NO_SLOT_AVAILABLE (все работники заняты; здесь нет никакой ошибки). Программа уведомляет об этом в журнале событий. Поэтому и не снимает. Лучше писать по таким проблемам в тикеты.

Да, я с Вами пообщался в тикетах. Пишу здесь, чтобы люди знали, что и на самом дорогом тарифе антигейт сегодня "лагает". Проблема не в том, что все работники заняты, а в том, что капчи очень дорогие, а от разгаданных толку ноль. Сами посудите - 136 капчей обошлись в доллар, заполнено 18 строк. Получается, что почти 90% капчей были разгаданы с ошибкой. Вопрос был в том, на чьей стороне ошибка - в программе или в антигейте. Пробовал руками - данные добавляются, поэтому склоняюсь ко второй версии. Похоже, пора искать своих школьников на капчи или самому сидеть их вбивать.

MIND:
kioskanalya, на днях Яндекс сильно ужесточил условия работы с поисковой выдачей (добавил много капчи). Работники антигейта заняты из-за возросшей на них нагрузки. Мы следим за ситуацией и сделаем все необходимые правки, которые могут помочь.

Спасибо за Ваши усилия и постоянную доработку программы. Обновился до версии с улучшенным распознаванием капчи. Капчи разгадываются, но данные в таблицу то не добавляются! 136 капчей РАЗГАДАНО и 18 позиций ЗАПОЛНЕНО. Как то не хорошо.

Немного добавлю - возможно, проблема на стороне антигейта. Капчи на кириллице, может индусы и не знают, что это такое, пробивает их механизм проверки что ли? Пробовал руками вбивать капчи, позиции снимаются, но даже 10 тысяч ключей проверить на конкуренцию сегодня нереально

Добрый день!

Сайт htpp://strongbp.ru/

Раздел: World/Russian/Покупки/Здоровье_и_красота/Питание/Спортивное_питание/

Как считаете, есть шансы? В разделе нет редактора, но и просто в "Покупки" добавлять ведь не комильфо?

Всего: 235