Где взять базу всех ссылок? Ответ на вопрос.

Artisan
На сайте с 04.03.2005
Online
371
1089

В рубрике для новичков появилась тема,

которую закрыли за лишние разговоры.

Я собирался там ответить, но

тему закрыли раньше ответа.

Поэтому отвечаю в рубрике про сервисы,

возможно трудящимся будет полезно.

Где можно взять базу всех ссылок Рунета?

/ru/forum/681871

sated:
Требуется база всех ссылок Рунета, хотя бы ru-зоны.
Может быть она где-нибудь существует и ее можно скачать?
sated:
Чем новее тем лучше, а так пойдет и до последних двух месяцев.
Интересуют ссылки на pdf.
sated:

Как я понял такую базу найти проблематично.
Придется скачивать самому, зато все будет
под контролем. Выбираю VPS хостинг. Кто
может порекомендовать недорогой Windows VPS
с безлимитным трафиком без скрытых ограничений?

Вы совсем не понимаете сложность задачи.

Надо не VPS хостинг, а серверная ферма.

Если действительно нужна такая

база, то можно обращаться ко мне.

Найти все линки точно не получится,

потому что Сеть при поиске меняется.

Но возможно получится найти

достаточно для решения задачи.

Это не шутка, кому нужны такие

базы, можно обращаться ко мне.

Сразу отвечаю на возможный

вопрос о цене такой услуги.

Пока даром для изучения спроса,

только тем трудящимся, с которыми

возможно длительное взаимно

полезное сотрудничество.

Суетиться с разовыми

задачами нет времени.

www.leak.info / ДАРОМ линки конкурентов и забытых доменов
SM
На сайте с 25.07.2009
Offline
38
#1
Artisan:

Надо не VPS хостинг, а серверная ферма.

Если не секрет, на какой БД будет реализовано? Шардинг? Других вариантов не вижу. Из опыта шардинга с отказоустойчивостью, в лидерах только Oracle и MongoDB. Спецы и там и там стоят бабла, или у вас такое решение что можно не рассчитывать на инженеров-спецов, а довериться Вам, но тогда возникает вопрос стоимости, сколько будут стоить Ваши услуги по парсингу, включая исполнение JavaScript ссылок и без них.

Artisan
На сайте с 04.03.2005
Online
371
#2
SwordsMan:
Если не секрет, на какой БД будет реализовано? Шардинг? Других вариантов не вижу. Из опыта шардинга с отказоустойчивостью, в лидерах только Oracle и MongoDB. Спецы и там и там стоят бабла, или у вас такое решение что можно не рассчитывать на инженеров-спецов, а довериться Вам, но тогда возникает вопрос стоимости, сколько будут стоить Ваши услуги по парсингу, включая исполнение JavaScript ссылок и без них.

Уже реализовано,

работает, и улучшается.

Oracle и другие похожие

изделия не применяются.

Я сам для себя инженер.

Услуга пока даром для изучения

спроса, но только для возможного

длительного сотрудничества.

JavaScript линками

я пока не занимался.

Если будет спрос,

то можно подумать

и на эту тему.

Dr.Twi
На сайте с 17.10.2009
Offline
117
#3
Artisan:
Уже реализовано,
работает, и улучшается.

Oracle и другие похожие
изделия не применяются.

Я сам для себя инженер.

Услуга пока даром для изучения
спроса, но только для возможного
длительного сотрудничества.

JavaScript линками
я пока не занимался.

Если будет спрос,
то можно подумать
и на эту тему.

Это стихи?

[Удален]
#4
Dr.Twi:
Это стихи?

Тоже сначала так подумал

LEOnidUKG
На сайте с 25.11.2006
Offline
1762
#5
Dr.Twi:
Это стихи?

Человек с мобильного устройства пишет.

---------- Добавлено в 01:35 ---------- Предыдущее сообщение было в 01:34 ----------

SwordsMan:
Если не секрет, на какой БД будет реализовано?

Можно держать даже на mysql, просто держать в разных БД. Сделать какое-то разделение, можно алфавитное, можно зонное и т.п.

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/ ✅ Настройка и оптимизация серверов https://getmanyspeed.ru/
M
На сайте с 09.02.2008
Offline
68
mlu
#6

Мне тоже интересна тема, для второй ссылки из подписи, присоединяюсь. Интересно как само хранение таких объёмов, так и быстрые выборки данных из базы. В принципе, интересен контент, но скачать и сам смогу при большом желании.

В настоящий момент в сервисе в мускуле лежит 3 миллиарда записей, всё довольно быстро выбирается :)

pastuhoff
На сайте с 29.10.2005
Offline
229
#7
mlu:
в мускуле лежит 3 миллиарда записей

Поделитесь добром?

Коллекционер доменных имен.
donc
На сайте с 16.01.2007
Offline
677
#8
Dr.Twi:
Это стихи?

Хокку? 10 букв

Продвижение сайтов от 25 000 в мес, прозрачно, надежно https://searchengines.guru/ru/forum/818412 , но не быстро, отзывы

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий