Links_checker - поиск ссылок во множестве сайтов

12 3
vlav
На сайте с 07.09.2004
Offline
57
1569

Посмотрите - может заинтересует:

http://1-info.ru/links_checker

links_checker позволяет искать ссылку в целом сайте, начиная с указанного места, с обходом поддиректорий на заданную глубину, с возможность поиска "с конца" и с выводом подробного отчета о результатах.

На вход может links_checker принимать не один сайт, в котором нужно производить поиск, а целый список сайтов, записанный в виде текстового файла.

Кроме того, искать можно не одну ссылку, а сразу несколько из списка, поскольку страницы все равно загружаются из интернета. Отчет при этом будет предоставлен отдельно по каждому поисковому заданию.

Сайты проверяются в несколько параллельных потоков (количество можно задать), что позволяет избежать ожиданий при задержках связи.

С уважением
Deni
На сайте с 15.04.2006
Offline
355
#1

Вы бы еще посложней сделали порядок установки программы :)

Онлайн демо нет. Оценить возможности невозможно.

На комп ставить всякую столь "навороченную" фиг знает чем ......... совсем нет желания.

vlav
На сайте с 07.09.2004
Offline
57
#2

Это не может работать в онлайне в принципе. Поиск ссылок в скажем 1000 каталогов предполагет несколько часов работы программы (смотря какой канал) и трафик в сотни мегабайт (сотня - плюс/минус). Иначе никак.

А возможности ровно такие как описаны на сайте.

Deni
На сайте с 15.04.2006
Offline
355
#3

Так сделайте хоть человеческую установку программы. А то накрутили чего то до безобразия :)

Опять же не нашел ответ - там сейчас лежит демка или нет? Если демка то с какими ограничениями?

ЗЫ По одной секретной информации в одну из популярных ныне программ подобный модуль будет включен штатно. и главно без извращений с подобной инсталяцией

Поиск ссылок в скажем 1000 каталогов предполагет несколько часов работы программы

В корне неправильный подход к написанию программу.

Разумней , проще и быстрее провести первичный анализ через поисковики. Чем сканировать 1000 каталогов по 30000 страниц каждый.

Кстати.........

Небольшой расчет.

В среднем страница весит 30 Кб

30000 страниц каталога

30 Кб

1000 каталогов ( а у меня их 3000)

Получается 1000 мегобайт трафика

Что сможете сказать против этого?

IrokezV
На сайте с 05.03.2006
Offline
153
#4

vlav, она ищет прямо на сайтах? Если да, то такое не нужно.

Намного полезнее сделать прогу, которая бы проверяла на проиндексированность во многих поисковиках. Получится и быстрее и полезней, и трафа меньше жрать будет.

Вся жилая недвижимость на Avaho.ru ( http://avaho.ru/?utm_source=searchguru )
vlav
На сайте с 07.09.2004
Offline
57
#5

сорру, там не указано - лежит конечно демка с ограничением по траффику - до 500кбайт. Это позволяет пройти пару-тройку сайтов если результат недалеко.

Установка не трудна, просто нет инсталлятора. А так 3 простых шага- создать папку распаковать архив и запустить. Главное - что она делает свою работу. Хотя вы конечно правы - поработаем над этим.

Deni
На сайте с 15.04.2006
Offline
355
#6
Установка не трудна, просто нет инсталлятора. А так 3 простых шага- создать папку распаковать архив и запустить.

Вы бы еще под досом прогу написали....

Хотя почти так оно и есть...........

запускаете терминал (см.выше как)
делаете эту папку текущей - вводите команду cd \links_checker
настраиваете содержимое файлов in.txt и Links_checker.ini (для этого читаете несложную документацию)
увы - у программы нет графического интерфейса (читайте здесь почему), поэтому ничего, кроме терминала, вы не увидите
вводите команду java -jar Links_checker.jar (в точности как здесь- регистр букв важен!)
vlav
На сайте с 07.09.2004
Offline
57
#7
IrokezV:
vlav, она ищет прямо на сайтах? Если да, то такое не нужно.
Намного полезнее сделать прогу, которая бы проверяла на проиндексированность во многих поисковиках. Получится и быстрее и полезней, и трафа меньше жрать будет.

Ищет на сайтах.

Я тут читал тему про allsubmiter и базы из 6000 белых каталогов. С помощью links_checker можно узнать обо всем этом очень много нового.

vlav
На сайте с 07.09.2004
Offline
57
#8
Deni:
Вы бы еще под досом прогу написали....
Хотя почти так оно и есть...........

Она написана под юниксом на ЯВЕ и скомпилирована там-же - если интересно. Работает под любой ОС, где есть ява.

KS
На сайте с 16.11.2005
Offline
47
#9

Братцы! да такую и в онлайне можно сделать...

только отчет о наличии ответных ссылок будет приходить например на e-mail после проверки всех сайтов.

У меня у самого так проверка на каталоге ссылок работает...

vlav
На сайте с 07.09.2004
Offline
57
#10
Konstantin_S:
Братцы! да такую и в онлайне можно сделать...
только отчет о наличии ответных ссылок будет приходить например на e-mail после проверки всех сайтов.
У меня у самого так проверка на каталоге ссылок работает...

Вы считаете входящий траффик, измеряемый десятками или даже сотнями мегабайт, 100% загрузку канала за счет многопоточности и время непрерывной работы, измеряемое часами (хотя смотря какой канал) - совместимыми с сервером провайдера?.

В принципе несложно написать скрипт, который проверит один сайт за несколько запусков. Но отчет о работе, например, allsubmiter вы таким образом не сделаете.

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий