Как реализовать 1 000 000 000 запросов к API социальной сети?

Оу!
На сайте с 19.12.2007
Offline
239
839

Кто разбирается в API социальных сетей, подскажите, пожалуйста, реально ли и если Да, то как реализовать проект, который будет собирать информацию о друзьях друзей друзей.

Как я это понимаю:

1 запрос - список моих друзей (их допустим 500)

+500 запросов - список друзей друзей (у них допустим по 400 друзей)

+500*400 = 200 000 друзей

И это получается по 200 000 запросов для одного человека. А скажем допустим будет необходимость собрать такой список для 10 000 человек. 200 000 * 10 000 = 2 000 000 000 запросов.

Есть ли впринципе какая-то возможность реализовать такое количество запросов к Api контакта или фейсбука?

Купить мобильные прокси со скидкой 20%: https://surl.li/eijqnt
TF-Studio
На сайте с 17.08.2010
Offline
334
#1

во первых у нормальных людей меньше друзей

во-вторых можно кешировать, будет очень много пересечений, особенно в рамках одного города

три:

https://vk.com/dev/execute

https://habrahabr.ru/post/248725/

Всё ещё лучший способ заработка для белых сайтов: GoGetLinks (https://www.gogetlinks.net/?inv=fahbn8).
Оу!
На сайте с 19.12.2007
Offline
239
#2

TF-Studio, а что кешировать? Сохранять список ID своих друзей, и если кто-то из моих друзей тоже обратится к сайту, то мой список уже не будет парсится, а возьмётся из кеша? Или что другое?

С меня хреновый программист, но если вы разбираетесь в Api, то можете хотя бы примерно сказать, сколько время может понадобится для получения списка друзей друзей друзей при помощи метода execute?

То есть моя идея вполне реализуема?

nesterdron
На сайте с 09.10.2009
Offline
528
#3

Я все паблики парсил 3 месяца)

➨Куплю порн0 трафик - писать в ЛС<<< ➨Хостинг, VPS - Саппорт всегда Онлайн. Скидки и Тестовый период! (https://is.gd/5mCoBt) ➨о_0
TF-Studio
На сайте с 17.08.2010
Offline
334
#4

сохранять стату по id. кешировать её. она потом и пригодится

читайте доки, там все очень подробно

emariaru
На сайте с 26.10.2010
Offline
73
#5

есть такое расширение для хрома https://chrome.google.com/webstore/detail/%D1%82%D0%B5%D0%BE%D1%80%D0%B8%D1%8F-%D1%88%D0%B5%D1%81%D1%82%D0%B8-%D1%80%D1%83%D0%BA%D0%BE%D0%BF%D0%BE%D0%B6%D0%B0%D1%82%D0%B8%D0%B9/djmaeeflgkhknkddkhnoiepkhidgcmbh

там секунд за 10 определяется друзья друзей до 6 уровня. наврятли они всех парсят, наверняка есть более быстрый способ

Оу!
На сайте с 19.12.2007
Offline
239
#6

emariaru, очень классное расширение. действительно буквально за 3-4 секунды нашло цепочку от меня до Дурова в 10 друзей! По моим подсчётам это было бы 500*500*500*500*500*500*500*500*500*500 запросов...

как бы понять как они это сделали...

TF-Studio
На сайте с 17.08.2010
Offline
334
#7

для FF расширения - это обычные архивы. где js по сути

может в там так же?

гляньте код, поймете

Оу!
На сайте с 19.12.2007
Offline
239
#8
TF-Studio:
для FF расширения - это обычные архивы. где js по сути
может в там так же?
гляньте код, поймете

Да, действительно в хроме расширения на яваскрипте.. посмотрел.. неопытным глазом не получилось сразу разобраться, Но! освоил метод execute! Скорость выросла раз в 10! Возможно, потом будет мало.. но в данный момент достаточно. Большое спасибо за наводку!

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий