Или хотя бы просто читать. Этой теме неделя. Вы ничего не перепутали?
На тех страницах, где нужно чтобы сервер отдавал в заголовках win-1251 используйте в самом начале кода вставку на php
<?phpheader("Content-Type: text/html; charset=windows-1251");?>
Другими словами вы составляете карту сайта, состоящую из страниц 4УВ которые есть в индексе.
Это поможет примерно оценить время, необходимое на парсинг - запросы с таймаутом в 15 секунд и работа через XML все-таки существенно отличаются по скорости. Ну и сразу будет видно если XML не использовался вообще.
Именно чекера позиций, т.к. он в любом случае перестает получать данные.
Распознавать в смысле "вводить" не надо, просто определить, что попали на страницу с капчей и остановить парсинг с выдачей соответствующего сообщения, не более того. Насколько я понимаю, сейчас программа пытается посылать запросы независимо от того, блокируют их уже или еще нет.
Как минимум хотелось бы видеть, какой именно режим запросов используется в данный момент. Хотя бы небольшую пометку в статусной строке.
Как и у вас 🚬
Обоим скриптам не хватает очень простой но очень эффективной вещи - если полученная денежка не найдена в списке известных, сохраняйте ее в отдельную папку.
У меня тоже пожелание - научить программу распознавать капчу Яндекса и останавливаться хотя бы. А то как-то поставил низкий таймаут и обнаружил это только когда бан IP получил.
С автоматической регистрацией IP в XML.Яндекс здорово придумали, очень удобно. Только хотелось бы какое-нибудь уведомление в случае если регистрация IP не удалась (адрес уже используется, например, или пароль не правильный) и в тот момент, когда лимит запросов окончен и программа переключается на прямые запросы к выдаче.
Пополнение как раз работает. После ввода логина откройте passport.sape.ru
Результат зависит только от того, что возвращает mail.ru Плагин тут не причем.
В следующей версии будет проверка на капчу mail.ru, пока могу посоветовать ставить таймаут в две секунды минимум и не проверять разом большие объемы ссылок, разбейте их на страницы по 500 штук.