Checkertrast - сбор беков (Бета)

Задумка отличная. Попробовал, все интересно. Количественный результат сбора, правда, пока не впечатлил, но как для беты - нормально. Желаю успеха в разработке.

Пара предложений - замечаний.

1. Желательно, чтобы программа имела память и помнила, что напарсено на предыдущих шагах.

2. Было бы неплохо задавать возможность парсинга не только url страницы донора, но и во втором столбце отображать саму ссылку, чтобы понимать ее качество (анкорная, текстовая); в третьем столбце выводить околоссылочный текст, чтобы понять окружение....

Понятно, что кому-то это может быть нужно, а для кого-то потеря времени и ресурса. Поэтому было бы здорово дать возможность пользователю настраивать самому чекбоксами объем парсинга.

Спасибо, сейчас на данный момент увеличиваем количество сбора. По поводу предложения:

1. То есть вы имеете ввиду, чтобы программа сохраняла допустим в файл все ссылки которые парсит и чтобы потом эти результаты не выдавала?

2. Не совсем понял, что вы имеете ввиду.

3. Объем парсинга вы имеете ввиду, количество ссылок?

Побуду занудой от нечего делать: в классе TaskData (который в классе LinksParser), есть монструозный метод 'void LoadPage(string url)'. В нём есть некий flag (наличие флагов - уже сигнал, что творится что-то нехорошее); так вот, зачем там первая проверка 'if (flag) continue;'? Всё равно, он будет всегда false в том месте...
p.s. программу не запускал, но посмотреть чужой код всегда интересно.

Спасибо за софт. Ждем Соломоно.

p.s.: Лови Беклинк.

BlueRay спасибо, закрыли код от чужих глаз)

bolyk и вам спасибо, ждать не надо уже готова.

И так что реализовано в версии Checkertrast 1.0.2

1. Парсер solomono.ru (скорость работы 5000 ссылок - 15 минут). Если хотите увеличить скорость убирайте задержку в настройке поисковых систем и ставьте прокси, т.к. происходит бан на 20-30 минут.

2. Парсер yandex (выводит до 1000 ссылок).

Скачать

Что планируем делать дальше:

1. Определение тематики сайта

2. Определение движка сайта

3. Настройки для работы с solomono : проверку существует ли такая страница и рабочая ли она, и также вывод 1 ссылки с 1 домена.

4. Сохранение всех результатов в файл и проверка (в настройках будет галочка, проверку на повторы).

5. Вывод околоссылочного текста.

Ну так не интересно :( правда подход с регулярками для парсинга всего мне не очень нравится...

А вот на это было бы весьма интересно посмотреть (на реализацию)... по-моему непосильная задача, если добиваться достойного результата. Есть немало "определителей тематики", но качество всё равно не радует.

upd. беру свои слова обратно: более-менее достойные реализации определения тематики сайтов/текстов есть, но в контексте данной программы писать свой анализатор имхо бессмысленно.

BlueRay Извините, но я думаю нет смысла смотреть на чужой код. Нужно учиться и развивать свои идеи). А как что реализовано, я думаю пока нет смысла это обсуждать программу дорабатывают пока только Бета версия)

Тематику сайта, уже началb разрабатывать) Пока проверяем насколько это будет эффективно.

А можно ещё и анкоры собирать, пожалуйста?

Учиться необходимо, а учиться на чьих-то примерах (пусть и не всегда удачных, по моему мнению) всегда интересно.

Это будет бессмысленно на любом этапе развития приложения :) не важно, бета / не бета. Но смотреть реализации мне всё равно интересно. Тот же Paint.NET (отличный бесплатный графический редактор) исходники не обфусцирует...

Удачи, пару алгоритмов в сети есть, но требует много сил для реализации (имхо).

Vladimir Gromozdin что нибудь придумаем.

BlueRay спасибо)