Форум Не про работу Самое разное

Пишу свой поисковик. Куча вопросов.

123 4
[Удален]
5412

1. Где взять список доменов в свободном доступе?

2. Какие критерии поиска будут наиболее интересны?

Буду раз любой помощи и идеям.

Пока написал вытаскивание доменов с кода. Главная функция:

@_=m|http://w{0,3}\.?(.*?)[\<\>\/\"\' ]|g;

Критика приветствуется. Спасибо.

---------- Добавлено 20.09.2017 в 22:14 ----------

Нужно добавить https и вроде как с www не всё верно.

Z0
На сайте с 03.09.2009
Offline
756
ziliboba0213
#1
miltorg:
1. Где взять список доменов в свободном доступе?

В свободном доступе же...

widg
На сайте с 01.01.2017
Offline
30
widg
#2
miltorg:
Главная функция:
@_=m|http://w{0,3}\.?(.*?)[\<\>\/\"\' ]|g;

Этого достаточно. Можно запускать!

прострация
[Удален]
#3

Net::DNS::Resolver->new->query($d, "NS")? print 1 : print 0;

Не всё верно выдаёт.

Например aviaotryad.ru - пишет что свободен.

В чём дело?

Может идут ошибки?

Как устранить?

Оптимизайка
На сайте с 11.03.2012
Offline
396
Оптимизайка
#4
miltorg:
Net::DNS::Resolver->new->query($d, "NS")? print 1 : print 0;
Как устранить?

Смайлик в коде замените на этот 🤪 все заработает

⭐ BotGuard (https://botguard.net) ⭐ — защита вашего сайта от вредоносных ботов, воровства контента, клонирования, спама и хакерских атак!
[Удален]
#5

У авиаотряда не прописаны NS

И что делать? Парсить Хуиз?

Там ограничение - 30 запросов в минуту.

ZiLok
На сайте с 22.04.2009
Offline
160
ZiLok
#6
miltorg:
1. Где взять список доменов в свободном доступе?

Зачем это для современного поисковика? Есть же уже тухлые старички, можно парсить их выдачу для начала. И хуиз про 30 запросов не потребуется.

Заодно серверы в комнате зимой помогут не замёрзнуть.

О жуткий мир безжалостного клона! Теперь уж нет! ( https://searchengines.guru/ru/forum/959181/page16#comment_15096384 ) >>> Рассвет копирайтера. ( https://searchengines.guru/ru/forum/997098 ) >>>>>> Тайга. ( https://searchengines.guru/ru/forum/999929 )
[Удален]
#7

Вот что пока получилось. Часть поисковика. Незарегистрированные или проблемные домены в зоне ru:

200 балладный balladnyj Whois Site

201 балласт ballast Whois Site

202 балластер ballaster Whois Site

203 балластировать ballastirovat Whois Site

204 балластировка ballastirovka Whois Site

205 балластный ballastnyj Whois Site

206 балластовый ballastovyj Whois Site

207 баллистит ballistit Whois Site

208 баллистический ballisticheskij Whois Site

209 баллистокардиограмма ballistokardiogramma Whois Site

210 баллистокардиография ballistokardiografiya Whois Site

211 балловый ballovyj Whois Site

212 баллонет ballonet Whois Site

zexis
На сайте с 09.08.2005
Offline
388
zexis
#8

Прежде чем начинать реализацию проекта, нужно выполнить постановку задачи.

Что будет ваш поисковик делать?

Какой принцип его работы?

Какие данные будет хранить?

Где будет брать данные?

Что такое «список доменов»? Каких доменов?

ZiLok
На сайте с 22.04.2009
Offline
160
ZiLok
#9
zexis:
Что будет ваш поисковик делать?

Искать он будет, наверное, вопрос только что именно.

[Удален]
#10
zexis:
Прежде чем начинать реализацию проекта, нужно выполнить постановку задачи.
Что будет ваш поисковик делать?
Какой принцип его работы?
Какие данные будет хранить?
Где будет брать данные?
Что такое «список доменов»? Каких доменов?

Всё правильно. именно про это я и спрашиваю.

про список доменов:

Я думал, что натравлю на скрипт пару сайтов - они дадут внешние ссылки и их будет становиться всё больше и больше. Но так не произошло. На уровне 400 ссылок - ссылки практически перестали рости.

Но сейчас я просто беру домены из словаря. - От сюда появился скрипт на проверку домена.

Нашёл кучу свободных доменов-слов.

123 4

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий