cheboor

cheboor
Рейтинг
123
Регистрация
13.12.2005

Доброе утро. Стало доступно обновление.

Мы лечили ошибки, поэтому перечень нововведений короткий. Меж тем, в нем следующие пункты:

Теперь появилась возможность перехода по ссылкам во всех почтовых ящиках;

После прохода по ссылкам логично удалить обработанные письма - в программу добавлена функция удаления всех писем во всех почтовых ящиках.

В случае, если программа в тексте страницы, открытой после нажатия на кнопку "Регистрация", найдет одну из указанных в справочниках фразу, подтверждающую регистрацию, извещающую о дубле, или информирующую об ошибке, эта фраза будет внесена в соответствующее поле открытого каталога.

В случае, если Вы попытаетесь перейти к следующему каталогу, не сохранив измененную информацию на закладке "Каталог", программа выдаст предупреждение.

Теперь в настройках программы (на закладке "Настройки браузера") появилась возможность убрать практически любые запросы на сохранение информации, указав при этом какое действие следует выполнять программе при наступлении описанной ситуации (например, всегда сохранять внесенную на закладке "Каталог" информацию).

Теперь, при нажатии на кнопку "Регистрация" обрабатываться будут любые формы. Раньше, если помните, в некоторых случаях программа не могла найти ту кнопку, которую надо "нажать".

Раньше необходимым условием корректной обработки регистрации в каталоге являлось нажатие на кнопку "Регистрация" (кнопку программы, а не каталога). Теперь эта необходимость отпала. Программа научилась отлавливать клики по кнопкам в html документах.

По просьбам трудящихся, был сделан еще один способ ввода соответствия полей формы каталога свойствам сайтов - прямо в коде web-страницы теперь могут быть доступны combobox'ы выбора свойств сайта. Включить или выключить отображение этих элементов можно на окне параметров работы программы.

Старая громоздкая панель выбора CAPTCHA была упразднена. Ее заменила новая панель в статус-баре, в которой отображается адрес выбранной капчи, кнопка выбора картинки переехала в верхнее меню

Настоятельно рекомендую открыть окно "Параметры" из меню "Файл" и нажать на кнопку "Сбросить меню". Иначе в SEO браузере будет недоступна панель выбора CAPTCHA.

В настойках программы (на закладке "Интерфейс") Вы можете включить или отключить функцию встраивания элементов выбора свойства поля каталога в web-страницу. Также есть в этом окне Вы можете включить синхронизацию выбора полей. В этом режиме, при выборе какого либо из элементов непосредственно на форме каталога, в окне "Распознавание" курсор будет устанавливаться на соответствующую выбранному элементу строку. При этом будет подгружен перечень внесенных для этого свойства значений, что несколько замедлит работу. По-умолчанию, режим синхронизации выбора отключен.

Разумеется поиск есть. По любой таблице, по любому столбцу, по любому количеству столбцов. Так же есть и сортировка.

Вот иллюстация, как им пользоваться http://www.smile-group.ru/search/search.html

Адвокат:
А можете описать конфиг компа на котором тестируете программку...

Обе машины, на которых пишется код (и соответственно производится "первичное тестирование") работают под Windows 2000 sp4 (на одной firebird2.0,на другой - firebird1.5). Первая: Athlon 64 3000+; 1GbRam; Воторая - iPentiumM 1.6ghz, 512mb.

Тестируют программу помимо нас еще несколько активных пользователей, полностью их конфиги не знаю, но среди них есть пользователи WinXP и Win2003Srv.

Адвокат:
По поводу определения позиций, у меня тоже были проблемы с этим, после того как настроил немного работу с ПС вроде бы стало нормально.

Вообще странно, конечно все должно работать и без дополнительных настроек. Возможно настройка параметров совпала по времени с последним небольшим обновлением? Оно несло исправление ошибки с неправильным определением позиций по запросам состоящим из нескольких слов.

Адвокат:
Нужен FAQ по настройке новых функций программы, мне так кажется.

Очень надеюсь, что мы до конца лета доделаем отдельный сайт по SST, на котором соберем большую коллекцию FAQ.

Адвокат:
И еще вопросик, если предоставить Вам удаленный доступ к рабочему столу, т.е. для анализа работы установленной на компе пользователя программки поможет ли это выявить ошибки?
xronik:
вопрос к разработчикам: почему вы не осуществляете поддержку пользователей которые приобрели у вас SST?
в clients.smile-group.ru полно вопросов на которых нет ответа(
в частностим мой вопрос относительно лицензии- если я купил новый компьютер, как удалить на сайте 1 лицензию и добавить новую?

Осуществляем, но не всегда действительно оперативно. Если хотите быстрого ответа - напишите письмо на support@smile-group.ru или задайте вопрос мне в icq, время реакции будет заметно меньше.

Для удаления старой лицензии, пришлите свой логин и код ответа на support@smile-group.ru. Старый ключ будет заблокирован, Вы сможете получить новый. В течение ближайшей недели будет сделан интерфейс для блокировки ключей в рамках сайта clients.smile-group.ru, так что все пользователи смогут это делать самостоятельно.

andrej-ilin:
cheboor, у меня все описанные здесь ошибки воспроизводятся.

Не могли бы Вы постучать мне в icq или ответить на мое сообщение, возможно Вы сможете проиллюстрировать, в какие моменты возникает ошибка, тогда будет несоизмеримо проще ее вылечить...

Nicola:
А полуавтомат считает, что успешна и перебрасывает на следующий, примеры могу в АСЮ выслать.

Будьте любезны, скиньте, или в icq (#160152860) или на support@smile-group.ru

Nicola:
Капча распознается хорошо, но когда её более 100, многие каталоги работают очень просто, я ввожу капчу, примерно это 5-10 минут, простите такие бывают. А время сессии прошло и капча не действительна. :)

Да, такая проблема есть, выходов несколько:

1. Проводить авторегистрацию по меньшим количествам каталогов, требующих распознавания captcha;

2. Распознавать и набирать быстрее :)

3. Использовать модуль распознавания captcha. Все таки он успешно обрабатывает наиболее распространенные картинки, а оставшихся обычно не так много.

Nicola:
И вот тоже думал, отдал комп, там ключ стоит на прогу, как удалить самому ? А нужен новый, и что делать ? Ну сделайте удаление плиз.

Дубль: Для удаления старой лицензии, пришлите свой логин и код ответа на support@smile-group.ru. Старый ключ будет заблокирован, Вы сможете получить новый. В течение ближайшей недели будет сделан интерфейс для блокировки ключей в рамках сайта clients.smile-group.ru, так что все пользователи смогут это делать самостоятельно.

Мы молчим - потому, что пытаемся найти и исправить ошибки, о которых нам написали, например, ошибку с определением позиций мне просто не удается воспроизвести, всегда получаю правильные результаты. Ошибку с незополнением некоторых контроллов форм - тоже самое :(

Klarikon, ок, будет сделано в ближайшее время.

Когда были там (ну может метров 500 до тэц) было уже пусто, зарево потухло, только мигалки кругом. Тех кто прошел заграждения милиция не трогала (лишь предупреждала о необходимости покинуть проезжую часть воизбежание ДТП), тех кто не успел - останавливали. Дело было вечером, делать было нечего - залезли за какой то (с виду серьезный) забор, подошли к тэцевой (брошенной?) трубе, ни единой души, поглумились над скрабом давно забытых застав и отправились обратно в город....

ЗЫ. Надо SST писать, а не по катакомбам шариться...

В непосредственной близости от ТЭЦ жесткое оцепление, не зная местности подъехать близко не реально. Глупость, но так получилось, что мы поехали туда. Пробки начинались километрах в 20 от аварии, ну может не пробки а просто плотное движение. когда подеъехали зарево уже потухло. Много машин скорой помощи, пожарных и милиции. Еще больше зевак.

P.S. В кузьмоловских ларьках снимают тройную выручку.

Стало доступно небольшое обновление, которое исправляет ошибки, появившихся после предыдущего аппа.

tmvrn:
1. В проиндексированных страницах сайта не отображается сниппет

Теперь должно быть в порядке

tmvrn:
2. В обратных ссылках сайта не отображаются данные в столбцах "Сниппет" и "В каталоге".

Для получения перечня бэков используется запрос вида http://www.yandex.ru/yandsearch?Link=www.site.ru (+numdoc +rd), в выдаче по такому запросу нет сниппетов. "В каталоге" заполняется только в случае, если сайт с очередной ссылкой находится в Я.Каталоге (указывается рубрика каталога).

tmvrn:
Кроме того, при нажатии на обновить исчезает окошко со счетчиком страниц, а через некоторое время обновляется сам список обратных ссылок, т.е. окошко так и не появляется (понял что прога ищет ссылки только по мерцанию сетевых индикаторов).

Теперь эта ошибка исправлена

tmvrn:
3. Неверно отражаются позиции по запросам, проверил первые четыре, из них №1 правильно, №2 ошибка в одину позицию, №3 ошибка в 166 позиций, №4 ошибка в 177 позиций. Дальше понятно не стал проверять...

Ошибка исправлена.

tmvrn:
4. Не работает модуль "импорт из серп обратных ссылок на сайт и тот же модуль с якорным текстом.

Все должно быть в порядке

*Arc*:
1. Самый главный и серьезный на мой взгляд баг - это при открытии каталога не заполяняются несколько строк формы.

Как ни пытался, не смог воспроизвести такую ошибку, если она у кого-либо проявится - дайте знать.

*Arc*:
2. Это уже менее значимый. Вообщем некоректно отображаются кол-во проиндексированный страниц. Проверял в нескольких источниках.

Используется запрос вида

http://www.yandex.ru/yandsearch?text=%23url%3D%22SITE.RU*%22&pag=u&surl=SITE.RU (+numdoc +rd)

Вся выдача помещается в таблицу проиндексированных страниц.

Myf:
Есть проблема при добавлении каталогов в базу(импорт из *.tx)
Если при импорте стоит галочка "Использовать черный список" то программа банит все добавляемые каталоги, даже те которых в черном списке нет.

Ошибку не обнаружил, не могли бы Вы прислать свой черный список на support@smile-group.ru.

Адвокат:
Посмотрел профиль cheboorа "Последняя активность: Вчера 16:41". Движений никаких со вчерашнего дня.

Собственно у меня вопрос к cheboorу, вообще будет когда нибудь адекватная техническая поддержка программы, или для исправления багов нам еще пол годика подождать? 😡

Техническая поддержка оказывалась и оказывается по email, на форуме я бываю часто, но не постоянно.

Warl:
Скажи, как то можно восстановить пароль от http://clients.smile-group.ru/ а то на е-мэйл не приходит. Может кто то пароль восстановить?

Пароль восстановлен, все в порядке?

andrej-ilin:
Вы вроде бы взялись писать инструмент для специалистов, а не программку для домохозяек. Подправить регулярное выражение в парсере выдачи для меня не проблема, но мне этого не разрешают.

Для этой задачи не используются regexp'ы, поэтому и их настройки нет.

andrej-ilin:
Составить SQL-запрос к базе и получить информацию в нужном мне виде тоже нельзя.

Если Вы знакомы с SQL, то, вероятно, можете воспользоваться и программой в стиле IBExpert, оперируя непосредственно данными...

andrej-ilin:
На худой конец сбросить данные по позициям в EXCEL - тоже низя. Дурдом. База накопилась, данные лежат, но проанализировать толком ничего невозможно.

Этот модуль будет в ближайшее время переписан, сейчас для этого все готово, в новой его редакции будет возможность и экспорта.

andrej-ilin:
Даже сделать функцию "проверить все позиции всех сайтов" вы не догадались.

Догадались, но не сделали. Она будет в новой версии модуля.

andrej-ilin:
Вы решили задачу распознавания величины ТИЦ на кнопке! А зачем? Как часто он обновляется? Сколько сайтов в базе? Зачем каждый модуль каждый раз лазает за этим ТИЦем на Яндекс? Не проще ли хранить данные в одном месте и организовать периодическое обновление в фоновом режиме не создавая лишней нагрузки для поисковой системы?

Модули лезут за тицем только по команде пользователя, разве не так? Распознавание картинки было сделано для того, чтобы избавить пользователя от опасности блокировки по IP за снятие значений тиц в большом количестве имитируя запросы яндекс бара. Каким образом периодическое обновление в фоновом режиме понизит нагрузку на поисковики? Или Вы предлагаете сделать "буфер" на нашем сервере, чтобы именно он "спрашивал" тиц у яндекса и раздавал клиентам? Если так, то да, мы об этом думали, но из-за двух причин отказались: 1. Подобный сервис должен работать как часы, должен быть способен обработать действительно большие объемы данных. Пользователей программы уже очень много. Не уверен, что мы можем обеспечить выполнение этого условия. 2. Вы можете себе представить, сколько обвинений в "похищении" данных на нас посыпется, если программа будет передавать нашему серверу все адрес каталогов? :)

andrej-ilin:
Главная проблема - вы потеряли связь с пользователями. Если вы пишите программу для себя, то в обратная связь действительно не нужна.

Действительно, в последнее время на форуме появлялся не часто, но ситуация меняется. Тот апдейт, которого мы так боялись, состоялся, не без проблем, но между тем, одно из самых крупных изменений в программе за эти почти полтора года развития проекта произошло.

CoolAndrew:

Программа просто отличная, разработчикам огромное спасибо за тот титанический труд, который они проделали!

Спасибо за столь позитивный отзыв :)

Сейчас ведем работы над следующим обновлением, с учетом всех вышеописанных замечаний. Проблемы постараемся устранить в ближайшее время.

Здравствуйте.

Надеюсь столь долгое ожидание очередного обновления не стало сильным испытанием для веры пользователей :)

Сегодня стало доступно обновление. В этом выпуске:

  • Появилась настройка "Сохранять состояние меню", в случае, если Вас устраивает стандартное расположение кнопок меню - просто снимите эту галочку в настройках и Вам более не придется нажимать на кнопку "Сбросить настройки меню" после обновлений, при каждом запуске программы меню будет загружаться в стандартном режиме;
  • Возможность убрать "ползающие кнопки" в браузере;
  • Стало возможно проверить сразу все почтовые ящики в менеджере почты, появилась функция поиска и прохода по всем confirm ссылкам во всех почтовых ящиках.
  • В автоматическом режиме регистрации, в случае наличия модуля распознавания Captcha, распознанные картинки будут отсортированы по степени уверенности в распознавании;
  • Теперь программа будет запоминать последние 10 использованных запросов в функции "импорт из SERP";
  • В меню "Справка" появилась кнопка "Регистрационная информация", впри нажатии на которую открывается окно, отображающее используемые код запроса и код ответа;
  • Появилась возможность снимать значения тиц "безопасным методом". При этом будет загружена графическое изображение тиц (http://www.yandex.ru/cycounter?www.searchengines.ru), оно впоследствии и будет распознано. (следует иметь ввиду, что при этом значения тиц выше 28000 определяться не будут, т.к. видимо у Яндекса нет отрисованных картинок для этих значений http://www.yandex.ru/cycounter?www.yandex.ru)

Это все мелочи, а вот то, из-за чего дата релиза апдейта столько раз отодвигалась, из-за чего мы так долго молчали:

Эталоны схем распознавания

Наверно помните, что программа, в случае, если встречает нераспознанный каталог, пытается распознать его по образу и подобию ранее обработанных. Этот подход хорошо себя зарекомендовал, но есть несколько минусов, главный из которых - невозможность заранее однозначно сказать, какой из распознанных каталогов будет использован в качестве образца распознавания. Теперь мы решили вынести эти образцы в отдельную таблицу. Формирование этой таблицы будет абсолютно прозрачно для пользователя. Какие плюсы это дает:

1. Распознавание будет проходить быстрее, ведь эталонов будет несоизмеримо меньшее количество, нежели количество распознанных каталогов;

2. Пользователи смогут меняться своими таблицами эталонов схем. Далеко не все хотят распространять сформированные базы каталогов, но между тем отдать только схемы распознавания совершенно безопасно, т.к. собственно каталоги не передаются, передается лишь описание некой абстрактной формы;

3. Мы подготовили систему централизованного обмена эталонами. В программе есть функция синхронизации эталонов. В процессе ее выполнения имеющиеся в Вашей базе эталоны (и по одному примеру каталога с такой схемой) будут отправлены на наш сервер, а с сервера будет получен пакет "утвержденных" на данный момент эталонов схем распознавания. Все присланные эталоны будут проходить модерацию и лишь после утверждения модератором они попадут в "публичный список".

Новая система общения с поисковиками

Немного технической информации: Ранее каждый из модулей программы самостоятельно строил запросы к поисковикам, самостоятельно анализировал ответы, полученные от него. Это приводило к тому, что при смене форматов выдачи приходилось переделывать не один, а множество модулей, при обращении к поисковой машине были возможны ситуации, когда "общением" с поисковиком занимались несколько модулей одновременно.

Теперь мы изменили эту схему, были созданы "пулы" обращения к поисковикам.

Для пользователя это несет следующие плюсы:

1. При обновлении потребуется загружать меньший объем файлов;

2. При работе программы Вы можете быть уверены, что "общение" с ПС идет в четко указанное количество потоков;

3. Вы можете указать настройки общения с конкретным поисковиком лишь один раз, и быть увереным, что они учитываются всюду.

Помимо собственно пула были внесены следующие изменения:

  • Вы можете указать, во сколько потоков разрешена связь с каждой конкретной поисковой машиной;
  • Теперь являются настраивыми перерывы между обращениями к поисковой машине, причем их сделано два, один - обязательный, второй - случайный. Обязательный перерыв будет делаться между каждыми обращениями, он будет всегда одинаковой длины, продолжительность случайного же перерыва будет варироваться от минимума до максимума (указываемых пользователем) в случайном порядке;
  • Включена поддержка Яндекс.XML;
  • Для общения с Яндекс, Вы можете явно задать, какие значения использовать для параметра RD;
  • Для ПС Google Вы можете указать используемый датацентр и параметр hl
  • Почти для всех ПС появилась возможность указать количество позиций на страницах выдачи;
  • Теперь программа умеет общаться с 8 поисковыми системами (правда не все функции их поддерживают, но это мы наверстаем)

Наверно еще множество мелочей упустил при составлении обзора, но что то мы действительно долго не делали апдейтов, подзабылось. Теперь постараемся держать прежнюю скорость около двух апдейтов в месяц.

Как обычно, ждем отзывов и предложений.

Ришат:
при импорте каталогов есть меню не загружать дубликаты, что это значит?
это значит что прога не загрузит повторы в базе (которую импотируем)??
это значит что прога сравнит базу с папкой куда импотируется база и не загрузит повторы?

а) не будут добавлены дублирующиеся значения из импортируемой базы

б) каждая импортируемая запись будет проверена, на предмет наличия такого каталога в рабочей базы, если совпадение будет найдено, то каталог загружен не будет.

Ришат:
В проге есть функция поиска дубликатов, где она их ищет?
в базе которую задал?
по всем папкаМ?

по тем папкам, которые Вы выбрали

Ришат:
Так чтобы можно было создовать папки в самом верхнем уровне, не так как сейчас можно создать и прикрепить только к основной папке. а отдельные корневые

Зачем?

Ришат:
поробывал выдрать сайты
но прога выдирает только 5 страниц и пишет Работа завершена. Обработано страниц 5
почему не выдирает все 4 000 сайтов?

если приведете точное описание, что делаете, то я скажу в чем проблема. откуда, куда и какие сайты вы пробывали выдрать?

Всего: 407