SeWork: Сделаем, только было бы хорошо если бы вы расписали зачем вам эти данные.
Это поможет примерно оценить время, необходимое на парсинг - запросы с таймаутом в 15 секунд и работа через XML все-таки существенно отличаются по скорости. Ну и сразу будет видно если XML не использовался вообще.
SeWork: остановка парсинга всех параметров, или остановка чекера позиций в Яндексе.
Именно чекера позиций, т.к. он в любом случае перестает получать данные.
SeWork: Распознавать капчу - это не выход, при бане IP, Яндекс будет под каждый запрос подсовывать капчу, пока полностью не заблокирует выш IP
Распознавать в смысле "вводить" не надо, просто определить, что попали на страницу с капчей и остановить парсинг с выдачей соответствующего сообщения, не более того. Насколько я понимаю, сейчас программа пытается посылать запросы независимо от того, блокируют их уже или еще нет.
SeWork: Уведомление при неудачно регистрации IP можно, только зачем, программа сама автоматические перейдет на прямые запросы к выдаче
Как минимум хотелось бы видеть, какой именно режим запросов используется в данный момент. Хотя бы небольшую пометку в статусной строке.
Обоим скриптам не хватает очень простой но очень эффективной вещи - если полученная денежка не найдена в списке известных, сохраняйте ее в отдельную папку.
У меня тоже пожелание - научить программу распознавать капчу Яндекса и останавливаться хотя бы. А то как-то поставил низкий таймаут и обнаружил это только когда бан IP получил.
С автоматической регистрацией IP в XML.Яндекс здорово придумали, очень удобно. Только хотелось бы какое-нибудь уведомление в случае если регистрация IP не удалась (адрес уже используется, например, или пароль не правильный) и в тот момент, когда лимит запросов окончен и программа переключается на прямые запросы к выдаче.
Verser: При проверке YAP пропускает некоторые ссылки, при повторном запуске снова игнорирует.
В следующей версии будет проверка на капчу mail.ru, пока могу посоветовать ставить таймаут в две секунды минимум и не проверять разом большие объемы ссылок, разбейте их на страницы по 500 штук.
Нужно уметь – читать между строк!
Или хотя бы просто читать. Этой теме неделя. Вы ничего не перепутали?
можно ли сделать как-нибудь чтоб распознование кордирвки бралось из head'а?
На тех страницах, где нужно чтобы сервер отдавал в заголовках win-1251 используйте в самом начале кода вставку на php
результат зависит от количества проиндексированных страниц яшей и имеющихся в сапе
Другими словами вы составляете карту сайта, состоящую из страниц 4УВ которые есть в индексе.
Сделаем, только было бы хорошо если бы вы расписали зачем вам эти данные.
Это поможет примерно оценить время, необходимое на парсинг - запросы с таймаутом в 15 секунд и работа через XML все-таки существенно отличаются по скорости. Ну и сразу будет видно если XML не использовался вообще.
остановка парсинга всех параметров, или остановка чекера позиций в Яндексе.
Именно чекера позиций, т.к. он в любом случае перестает получать данные.
Распознавать капчу - это не выход, при бане IP, Яндекс будет под каждый запрос подсовывать капчу, пока полностью не заблокирует выш IP
Распознавать в смысле "вводить" не надо, просто определить, что попали на страницу с капчей и остановить парсинг с выдачей соответствующего сообщения, не более того. Насколько я понимаю, сейчас программа пытается посылать запросы независимо от того, блокируют их уже или еще нет.
Уведомление при неудачно регистрации IP можно, только зачем, программа сама автоматические перейдет на прямые запросы к выдаче
Как минимум хотелось бы видеть, какой именно режим запросов используется в данный момент. Хотя бы небольшую пометку в статусной строке.
у вас кнопки, кстати, не все..
Как и у вас 🚬
Обоим скриптам не хватает очень простой но очень эффективной вещи - если полученная денежка не найдена в списке известных, сохраняйте ее в отдельную папку.
У меня тоже пожелание - научить программу распознавать капчу Яндекса и останавливаться хотя бы. А то как-то поставил низкий таймаут и обнаружил это только когда бан IP получил.
С автоматической регистрацией IP в XML.Яндекс здорово придумали, очень удобно. Только хотелось бы какое-нибудь уведомление в случае если регистрация IP не удалась (адрес уже используется, например, или пароль не правильный) и в тот момент, когда лимит запросов окончен и программа переключается на прямые запросы к выдаче.
денег хотел пополнить
Пополнение как раз работает. После ввода логина откройте passport.sape.ru
Только вот при проверке YAP некоторые проиндексированные страницы помечает как непроиндексированные.
Результат зависит только от того, что возвращает mail.ru Плагин тут не причем.
При проверке YAP пропускает некоторые ссылки, при повторном запуске снова игнорирует.
В следующей версии будет проверка на капчу mail.ru, пока могу посоветовать ставить таймаут в две секунды минимум и не проверять разом большие объемы ссылок, разбейте их на страницы по 500 штук.