Вариант 1:
Если есть документированное API - это лучший вариант.
Вариант 2: реверс-инжиниринг API.
Минусы: куча усилий. Которые еще и повторить придется при изменениях на сайте. Можно столкнуться с мерами противодействия сайта реверс-инжинирингу.
Плюсы: в конечном итоге будет работать быстрее пункта 3 и потреблять меньше ресурсов, чем в пункте 3. Сопоставимо с пунктом 1.
Вариант 3:
Нужен специализированный браузер, управляемый снаружи:
PhantomJS - удобнее для отладки.
SlimerJS - жрет меньше ресурсов.
Selenium - более известен, но жрет дофига ресурсов, так как это полноценный, но управляемый снаружи, браузер.
С точки зрения сайта - эти браузеры имитируют поведение пользователя.
Прокручиваем куда надо и парзим DOM.---------- Добавлено 12.10.2018 в 15:59 ----------
Фейсбук, один из крупнейших сайтов в мире - не серьезный?---------- Добавлено 12.10.2018 в 16:02 ----------
Избыточно.
Нужен SlimerJS или PhantomJS.
Если же на сайте есть какая-то умная защита и нужна будет 100% эмуляция браузера, а той частичной эмуляции, что делает SlimerJS будет недостаточно - то только тогда и имеет смысл смотреть на Selenium.
Ибо Selenium слишком уж много ресурсов жрет.
Да, судя по тому как вы шапкозакидательски пишете, многие хостеры не особо компетенты:
Купить дедик - ума не нужно.
Самое сложное тут: " организуй качество", чему вы даже в тексте своем не уделили значительного внимания. Считаете качество само самим разумеющимся, автоматом возникающим? Вся проблема в дорогом дедике?
И это только еще только ваша внутренная кухня. Как сделаете качество, если сможете вообще - еще и раскрутка будет нужна.
В отношении серверов, возможно.
В отношении использования их сети - очень жестоки. Скажем, пытались сделать кластер на их дешевых серверах (чтобы без внутренней сети за отдельные бабки которая) - весьма параноидально банят за подозрительный трафик. Между моими собственными серверами.---------- Добавлено 12.10.2018 в 15:24 ----------
Это крупный хостер.
А если твои клиенты ходят через VPN/proxy, находящийся у этого хостера?---------- Добавлено 12.10.2018 в 15:28 ----------
99% датацентров под хостинг - находится в Москве, Питере, ближнее Подмосковье.
Давно искал для геораспределения нагрузки сервера под аренду хотя бы в крупных городах РФ - очень мало.
А Вы про какой-то Урюпинск придумываете.
Если у вас инфа про то, где можно разместить сервера хотя бы во всех в региональных центрах страны (где это как развитая услуга, чтобы все можно было сделать удаленно) - буду рад ссылкам.
Если потребители европейцы или американцы - то РФ.
Если потребители РФ - то Европа или США.
Поделитесь.---------- Добавлено 12.10.2018 в 15:15 ----------
Конкретно это - ответ Газпромбанка.
Это давно было, много лет назад, тогда кредитование особо малого бизнеса еще не было.
Те, кто называли себя "банками, кредитующими малый бизнес", тоже рассматривали от бОльших сумм, чем мне надо было.
Но то, что называется "кредитование особо мелкого бизнеса", по сути, обычный потребительский кредит. Там проценты не интересные.
Ипотека - это квартира в залоге у банка на годы, а то и десятилетия, у банка риски другие. Не показатель.
Потребительские кредиты, что дают налево и направо без обеспечения и проверок глубоких, но маленькие суммы - другое дело.
Я про коммерческие кредиты. Те, что дают на бизнес.
Там совсем другие условия. Я как-то хотел взять. рассчитал бизнес-план, пришел в банк. Знаете что сказал банк - "Мы с такими мелкими суммами по кредитам для бизнеса не работаем". У меня была сумма порядка 1 500 000 рублей по бизнес-плану. Сколько, спрашиваю? Они говорят - от 5 000 000 рублей будем рассматривать.
Так что не путайте это с потребительскими кредитами.
1) Это ипотечный кредит. Жилое или коммерческое помещение - другое дело. Но это ипотечный кредит. Там помещение в залоге.
2) Полагаю - 2-3 года это окупаемость не на Западе была?
Согласен.
Но чтобы получить железо по такой цене и чтобы это железо продать по низкой цене в аренду в объеме достаточном для окупаемости - нужны были изначально большие деньги.
1-2 сервера чтобы сдавать по такой цене в аренду - это только если вы в перерывах между работой админить их сами будете.
Если речь идет о бизнесе, то нужен и персонал (зарплата) и юр. лицо (налоги) - и без первоначальных вложений серьезный - никак так не сделаешь, чтобы это стало именно что бизнесом, а не хобби.
В принципе, чтобы сделать датацентр на базе говна - не так уж и много денег надо. Не безыизвестный тут на форуме забаненный навечно Виталик из Нска так делает. У себя в квартире. У друга в сарае. И даже железо не самое дешевое (потому что не хочет с железом мучений), ну а взял бы треш-железо за те же деньги - так у него было бы уже наверное под 100 серверов. И это все без кредитов. Это не так сложно. Была бы цель.
Скажу даже более:
Дедик не нужен. Прекрасно перепродавал на виртуалках хостинг.
Другое дело, что не рассматривал как бизнес, а только чтобы мои сайты окупались за счет клиентских аренд.
Когда цена хостинга упала до неприличных масштабов - надоело мне возиться с клиентскими сайтами - методом повышения большую часть арендаторов разогнал. Оставил только самых жирных, что согласны хорошо платить.
А вот и нет.
Рамблер тоже был в нужное время и в нужном месте.
Несмотря на то, что у Рамблера с финансированием было не в пример лучше, чем у Яндекса....
Почему Рамблер в нужном времени и в нужном месте и с огромными инвестициями, но сдох? Когда Яндекс будучи даже в худших финансовых условиях взлетал.---------- Добавлено 12.10.2018 в 14:46 ----------
Это страшно дорого. Вы даже не представляете.
Дешевле 3-х админов средней руки держать год, чем нанять devops и автоматизировать хотя бы 50% работы выполняемой админами.
Под лежачий камень конечно вода не течет. Что то делать нужно.
Но вы слишком уж переоценивайте простоту/дешевизну/эффективность автоматизации.
На самых ранних этапах вкладывают те, кто обозначен на западе специальным термином FFF (семья, друзья и дураки). Не те венчурные инвесторы, о которых вы говорите.
Посмотрите саму раннюю историю хоть Apple, хоть Yandex.
Но да, собственных денег всегда мало, если вы не сын Онасиса, и первым делом, если проект нормально стартанул и инвестору есть что показать, находят уже нормальных инвесторов.---------- Добавлено 12.10.2018 в 14:35 ----------
Просто отправлял своих хостующихся к знакомым программистам. Правда и эти программисты оказались дороговатыми для владельцев сайта.
Никак хостующихся не терял, что отказывал им в сверхподдержке.
Они еще годы и годы работали со мной. Правда пытались свалить на меня, что цвет логотипа неправильного цвета потому что у меня хостинг глючит. Но безуспешно. И работали и работали годами.
А потом они мне надоели и я их выгнал - повышением цены. Но не отказ на сверхобъемную тех. поддержку, а именно цена - и заставила их переехать.
Потому что их единственный реальный конкурент Рамблер был выкуплен жирными инвесторами, мечтающими быстро навариться, но не способными управлять ИТ-проектом. ИТ-руководство купленного Яндекса не умело (а наверное и не хотело, а в последствие, когда инвесторы стали строго спрашивать - и не могло) - и собственно мечтало тоже по быстрому срубить бабло и срулить. В Яндексе же Волож в этом смысле, напротив, жестко держал руль.
Здесь разжевано ярким художественным языком что творилось с Рамблером когда Яндекс всплывал вверх
Ашманов. Жизнь внутри пузыря
Да, это нормально.
Есть такой наш бывший соотечественник, живет во Франции. Его проект в вебе - NationOrg.
По его мнению, там чуть ли не социализм - огромные госсубсидии. Он в частности, живет за счет того, что по госдотациям обучает русских французскому языку, а французов русскому (я тоже удивился).
И все хочет как-то в ИТ пролезть, с каким-то проектом. По его словам - можно относительно легко государственные деньги получить под проект, достаточно предоставить техническое обоснование государству французкому.---------- Добавлено 12.10.2018 в 14:16 ----------
Это вы про то говно, на котором начинали и Hetzner и OVH, да и сейчас не далеко по качеству железа ушли от того говна?
Но то что их бизнес рассчитан на десятилетия - согласен. Но не без окупаемости же эти 10 лет-то.
