exp131

Рейтинг
69
Регистрация
26.05.2010
rootv:
в посте #380 говорилось, что глюк исправляется...
Там была речь о том, что не фиксируются ссылки, ведущие с сайта, и, соответственно, не участвуют в расчете весов страниц...
Что серьзно искажает картину.
Было ли это уже исправлено?
А то в моей версии до сих пор та же ситуация.

Это будет исправлено в ближайшем обновлении.

Программа реализует алгоритм, похожий на алгоритм гугла (из этой статьи). Поэтому используется только одна ссылка со страницы, причем не важно какой у нее анкор.

О чём и речь. Пока не закрыл программу, она должна в поле оставлять ранее введённые данные. К примеру вот сейчас проверял сайт, по умолчанию стоит кодировка 1251, а у сайта оказалось утф-8. Соответственно чтобы прочитались титлы - пришлось перезапускать и снова урл вводить. А иногда уже всё указал, и тут вспоминаешь что в исключения надо джпеги внести, закрываешь ввод данных, в опциях вносишь исключения - открываешь ввод данных снова - а там уже всё сбросилось. Вот что я имею ввиду.

Теперь все понятно. Это будет в следующем обновлении программы.


На странице может быть больше чем одна ссылка, ведущая на эту страницу. Одна из меню, а другая из текста. С разными анкорами. А Титл исходящей страницы соответственно одинаковый. И непонятно какую ссылку ваша программа имеет ввиду.

В данном случае совершенно неважно какую ссылку имеет ввиду программа. Т.к. дубли удалаются, а ссылки ведут в одно место и, соответственно, передают один вес, то какая разница какая ссылка для этого используется? (На самом деле всегда используется первая найденая ссылка, но с тем же успехом для этого может применяться любая).

В 1-м пункте, про сворачивание в трей ни слова не сказано.

Каюсь не написал. Сворачивание в трей скорее всего будет во-второй версии, хотя если найдется время может быть сделаю и в первой.


Большой сайт, ну скажем 50 тыс страниц. У них есть скажем каталог статей site.ru/articles/. Владелец говорит, что на этот каталог стоят ссылки с таких-то страниц. Чтобы прикинуть какой вес теоретически получит моя добавленная статья без скачки всего сайта, которую прога всё равно не потянет. Можно сделать следующее:
- указать маску каталога, чтобы были просканированы только те страницы что в нём и исходящие с них

Хм, а если в статьях каталога будут ссылки на главную страницу сайта (возможно не прямо, а через какую-то промежуточную) то программа все равно дойдя до главной будет скачивать весь сайт.

- посмотреть PR ссылающихся на каталог страниц и указать их вручную как внешние источники
- добавить новую страницу в каталог - затем задать расчёт веса.
И всё будет ясно. Если хочу разместить не статью, а постоянную ссылку на существующей странице, то тоже самое, кроме добавления новой страницы. Собственно вам судить насколько это актуально.

Вообще-то задача в планах стоит несколько иная: а именно сделать ограничение по глубине сканирования, возможность указать стартовую точку и опционально запрет сканирования страниц уровнем выше чем стартовая. В этом плане задача добавить возможность вручную проставить ссылки и их вес не очень сложна.

Проверяю сайт. Сохраняю настройки. Закрываю программу. Открываю снова. Загружаю настройки. Нажимаю "получить данные" - а там всё по умолчанию и урл сайта не подставился

При сохранении настроек сохраняются только список стартовых страниц и исключений (все что есть в окне "Настройки" -> "Опции"). Соответственно при загрузке они же и загружаются. УРЛ сайта сохраняется вместе со всеми данными через "Файл" -> "Сохранить как...". При нажатии на кнопку "Получить данные" вы вводите УРЛ заново и он заменяет текущий.

Титлы у страниц одинаковые, поэтому непонятно куда конкретно ссылки ведут. Было бы удобнее, чтобы была ещё колонка - где анкор бы ссылки отображался.

Мне казалось что куда конкретно ведут ссылки ясно по полю "ссылка". Под анкором Вы имеете ввиду текст (или картинку) между тегами <a> и </a>?

1. Периодическое сохранение результата, скажем каждые 1000 ссылок.

Это будет во второй версии. Точнее там будет новая система хранения данных. Во-первых можно будет прервать сканирование не потеряв данные, а во-вторых даже если случится сбой и программа будет закрыта аварийно (даже если электричество отключат) данные не будут потеряны. Плюс будет возможность возобновить сканирование с места останова.


3. Выбор глубины парсинга по маске. Скажем только каталога статей с ручной простановкой ссылок на каталог.
Например /articles/* и указываю, что на папку /articles/ стоит 1 внешняя ссылка с весом 5.

Не совсем понял. Можете пояснить?

5. Чтобы можно было в трей её свернуть после запуска. Также нужна пауза и стоп.

См. пукнт 1.

6. Возможность пакетной проверке сайтов. Загрузить штук 20, запустить и свернуть в трей.

Тоже во второй версии, но не сразу.

7. Неудобно, что удалять ссылки со страницы можно только по одной. Выделяю их шифтом - нажимаю удалить - удаляется только одна строчка. А страниц таких много. Надо сделать - сколько выделил - столько удалить можно.
8. Возможность удалять страницы.

Это будет в обновлении к первой версии.

9. Не запоминает настройки. Бывает нужно проверить тот же сайт, и каждый раз всё заново настраивать. Пусть профиль настроек для сайта тоже сохраняет в общей базе.

Хм. Есть возможность сохранить настройки через пункт меню "Настройки" -> "Сохранить настройки". Чем Вас это не устраивает?

10. Когда добавляешь ссылки ведущие на страницу - неудобно, что по одной - например я хочу сослаться с всех .jpg почему нельзя
выделить группу и добавить. Приходится пролистывать и каждый урл по очереди добавлять.
11. Из списка на добавку у конкретной страницы, уже добавленные - должны исчезать из списка.
12. Не указывать, те страницы с которых ссылка уже есть в списке на добавку ссылок. Иначе путают, особо если страниц в списке много.

Постараюсь включить в обновление первой версии. Возможно в виде дополнительных настроек.


13. Ссылки ведущие со страницы - пусть анкоры показывает, а не титлы страниц куда ведут. Проще найти, если ссылки из текста идут. Или пусть отдельная колонка с анкорами будет.

Об этом тоже расскажите по-подробнее.

О том когда будет обновление точных сроков назвать не могу, но думаю в течение ближайших недель что-то из этого списка будет реализовано.

Все изменения буду публиковать на форуме.

Итак, как и обещал публикую условия продажи и поддержки программы.

Сначала об изменениях:

1. Я сделал новую сборку программы и теперь текущая версия как программы так и библиотеки (краулер) 1.5.5.

Примечание: уже купившим программу делать обновление не нужно, т.к. эта сборка идентична последней версии (1.5.3 программа + 1.5.5 библиотека). Я просто выровнял версии чтобы было проще делать дальнейшие обновления (плюс еще исправил некоторые орфографические ошибки, вроде "ссылко").

2. Параллельно с программой будет развиваться справка. Т.к. текущая версия хелпа уже далека от возможностей программы. Теперь справка будет доступна для всех желающих бесплатно. Я уже внес некоторые изменения в справку, можно скачать от сюда.

3. Стоимость программы с этого момента будет составлять 600 рублей (все-таки живем в России). В течение ближайших дней я подключу для оплаты интерфейс Робокассы, так что купить программу можно будет в автоматическом режиме, оплатив любой электронной валютой (из тех что поддерживает Робокасса).

Теперь о планах.

Почитав этот форум, а так же почту выделил основные направления развития программы:

1. Увеличение быстродействия при работе с большим объемом данных.

2. Добавление многопоточности при сканировании.

3. Добавление таких функций как пауза-сохранение промежуточного результата-возобновление сканирования.

4. Автоматические обновления.

Над этим и буду вести работу. Сроков пока называть не стану, но постараюсь выкладывать обновления как можно быстрее.

Все вопросы, сообщения об ошибках и пожеланиях отправляйте как обычно на этот форум, на электронные ящики: page-weight@yandex.ru, support@page-weight.ru (лучше на последний, т.к. в будущем от яндекса буду отказываться).

Всем, кто уже купил программу обещаю бесплатные обновления до версии 2.0 (в которой будет реализовано большинство из перечисленных функций). О порядке получения обновлений сообщу когда таковые появятся.

Пока у меня все. Буду обновлять этот топик по мере появления новой информации.

С уважением, Виталий Радчик.

Str256:
Может стоит вам топик прочитать, тут все возможные пожелания указаны, а те что не указаны, ТС были отписаны и он вероятно вам их передавал, так как периодически обещал что то то и то то появится в новой версии. Как минимум надо - сохранение промежуточных этапов работы, так как сервер бывает прогу отбивает через 5 тыс страниц и приходится начинать всё с начала, так как данные не сохраняются - это почти в самом начале высказано. Или при перерасчёте весов после изменений в ссылках на странице, вести расчёт от начальных значений, а не на основе предыдущих подсчётов. В топике всё это указано и многое другое.

Обязательно прочитаю. Как форум так и переписку, но на это потребуется некоторое время.

burunduk, новая версия обязательно будет. Как только войду в курс дела.

Что касается серверной - то тут я что-либо обещать пока не буду. В первую очередь нужно исправить текущие проблемы. Но я постараюсь вести работу и в этом направлении.

Добрый день, Дамы и Господа.

Вот так вот неожиданно это на меня свалилось, поэтому прошу заранее извинить за некоторые неудобства.

В связи с тем что мне нужно войти в курс текущего положения дел, продажи программы приостанавливаются до понедельника (31-го мая).

По мере готовности выложу условия продаж и поддержки.

Но, тем не менее, принимаются предварительные заказы, пожелания, сообщения об ошибках и прочее на электронный ящик page-weight[собака]yandex.ru.

Всего: 467