Etxt Антиплагиат 2.0. Проверка сайтов на уникальность.

Если имеется ввиду, что текст не проходит проверку на сайте etxt.ru, то это потому что там размер шингла = 3, а не 9 как у вас. Возможно вы поменяли и другие настройки.

Что-то последние пару дней программа (версия 2.0.3.0) хреново работает. Для 99% скачиваемых страниц пишет «Не удалось загрузить страницу из запроса №36-3 (14623 миллисек.)», хотя через браузер они открываются за пару секунд. Хотя на прошлой неделе вроде всё ок было...

Возможно дело в том, что проверяю с ноута, инет у которого через прокси (домашняя сеть) на связке HandyCache+Proxifier. Скорость соединения 1Мбит (вх)/8Мбит (исх)/ Но другой софт отлично работает, даже WebMoney. По идее при такой связке Etxt Антиплагиат должен работать в режиме «Прямое подключение к Интернету», но по факту не работает без принудительного указания адреса моего прокси.

Расскажите как вообще устроена работа с прокси у программы и как лучше всё это дело настроить. Пробовал и в Proxifier включать/выключать различные фильтры, и включать/выключать прокси в настройках ИЕ. Всё равно очень большой процент «Не удалось загрузить страницу из запроса». Таймаут закачки 30 сек, максимальное кол-во одновременно закачиваемых страниц — 1-2. При этом через браузер такие страницы грузятся моментально.

Пробовал запускать на компе с прямым подключением, тоже самое, очень много ошибок....

Прошло 20 минут....

Пошаманил с настройками, вроде как большая часть страниц прогружатеся, но проверка статьи 2к символов занимает минут 6-8. Хотя в логах пишется что время ответа страниц не более 3000 мс. В настройках: таймаут закачки 20 сек, максимальное кол-во одновременно закачиваемых страниц — 5-10.

Я так понимаю Etxt Антиплагиат грузит странички через движок IE и дожидается загрузки всех картинок и скриптов? То есть какая-нибудь хреновая картинка может не дать обработать страницу? По каким параметрам страница считается не загруженной? По идее нужно указывать конкретную причину, ибо 99% не загруженных страниц отлично загружаются в браузере.

Посмотрел логи HandyCache. Все страницы отдают статус 200, причём моментально. Так же в логах загруженных страниц в разы больше, чем показывается в журнале.

Прокси можно указать в настройках программы (Настройки / Сеть)

Программа не качает страницы через IE и не грузит картинки или скрипты.

Сообщения типа "Не удалось загрузить страницу из запроса..." выдаются как раз в случае, когда

причины незагрузки не ясны. Ответ со статусом 200 означает получение только заголовка, само тело страницы было не загружено (или не до конца загружено).

Со вчерашнего дня приложение перестало запускаться.

Идет перечисление всяких негараздов и все такое.

В конце:

Кто сталкивался с этим и как эту проблему решить?

Переустановка программы проблему не решила.

Пришлите в личку полный лог / скрин ошибки

По секрету скажу, если использовать запросы вида "предложение1" | "предложение2" | "предложение3" вместо (предложение1) | (предложение2) | (предложение3), то можно при тех же результатах сэкономить кучу трафика и времени клиенту ;)

По началу так и делали. Но эта конструкция не позволит найти нечеткие дубликаты.

Интересно, в процентном отношении, сколько полных дублей и сколько нечетких дубликатов? 99% к 1% или еще меньше? А затраты трафика и времени можно уменьшить до 90%. Вам виднее, конечно, но в своем софте я придерживаюсь именно такого алгоритма проверки и мне этого достаточно с головой.

lesss,

Отправил...

Будет ли когдато Етхт портирован на Мак? Нормально пользоваться нельзя(( А в день приходиться проганять за сотню текстов и это жутко неудобно((