Сканирование сайтов на внешние ссылки

D
На сайте с 27.09.2016
Offline
0
1061

Понадобилась программа, которая бы сканила сайты на внешние ссылки и пробивала каждый домен на доступность. То есть с сайта x ссылается 25 ссылок. Каждый домен пробиваем свободен ли он. Кроме Xenu ничего адекватного не нашел. Решил написать свой скрипт. Скрипт сканит любой сайт (хоть миллион страниц), пробивает свободен ли домен и сразу смотрит обратные ссылки. Думаю, если смысл дописать скрипт, натянуть дизайн и сделать мини-сервис? Была бы кому интересна такая услугу?

SamCram
На сайте с 16.08.2006
Offline
163
#1

В буржунете много подобных сервисов.

По поводу скана, имхо, наверное проще по API собирать ссылки (например Linkpad), и уже их пробивать

S
На сайте с 25.11.2008
Offline
124
#2

Про какие внешние речь? Исходящие с сайта или входящие на сайт? Что значит свободен ли домен - т.е проверяет не дропнутый ли уже тот домен, на ктр ведет эта ссылка?

Бесплатные виджеты для сайта (https://pfka.ru). Технический анализ сайта ( https://linkonavt.ru/services/sitetechnologies ).
TOBBOT
На сайте с 04.11.2014
Offline
41
#3

Задача специфицеская и лучше разделить ее на части:

1. собрать все домены, на которые ссылаются (я так понимаю, речь про ссылки с авторитетных ресурсов, например: википедия)

2. удалить дубли

3. проверить список доменов на досутпность регистрации

Считаю, что как сервис услуга не будет востребована.

Инструменты интернет-маркетинга - JLAB (http://jlab.io/) Бесплатная автоматизация с программой TOBBOT (http://tobbot.com/)
SamCram
На сайте с 16.08.2006
Offline
163
#4

Здесь можно примерно посмотреть как работает у аналога - https://www.youtube.com/watch?v=WthoDKOQvYI

В рунете не уверен что будет востребована

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий