alaev#: Но я понимаю, что хочется дешево и сердито, т.е. чтобы вы им сразу уронили все сервера.
Странный вывод. Никто никого ронять не хочет - напротив, и Озону, и Яндексу, и остальным парсеры желают счастья и процветания. Ведь они приносят деньги.
alaev#: Если ваша промышленность будет рентабельна при более дорогом парсинге с меньшими нагрузками, то они вам начнут кидать капчу, как это делают яндекс или гугл.
Капча зависит не от рентабельности, а от технической реализации защиты. Кто, что и по каким критериям считает высокой или критической нагрузкой.
Понятно, что всё упирается в деньги в конечном итоге. Но взаимосвязь здесь не такая непосредственная, как кажется.
alaev#: Ваш парсинг требует много дополнительных серверов.
Это тоже вопрос архитектуры. К примеру, для такой нагрузки требуется всего пара-тройка не самых сильных машин:
Delysid#: LCC это компания с ограниченной ответственностью
Вот это новость. Ещё немного, и Вы найдёте форму собственности большинства филиалов Яндекса. Правда, Чеко в этом не всегда поможет.
Только всё это не имеет отношения к делу. Адрес, который Вы дали, принадлежит LIR'у, а лир может заниматься чем угодно. Хоть ip-телефонией. Для которой, как ни странно, тоже может быть нужен датацентр. Более того, в датацентры идёт вся оптика от маршрутизаторов, которые обслуживают жилые массивы. Те, что с домашним интернетом и бесплатным доступом к онлайн-кинотеатрам на полгода.
Видите, какие чудеса.
И да, никаких "кто-то, нагло, под видом" и пр. Мейловцы и запускают. Собственными руками.
А как у вас, гении?
Дело не в гениальности, а в работе определённых участков коры головного мозга. У Вас они, видимо, развиты не так сильно.
И в любом случае для работы воображения нужна база. Чем больше и ярче, тем лучше.
И с криптой будет так же
Но я понимаю, что хочется дешево и сердито, т.е. чтобы вы им сразу уронили все сервера.
Если ваша промышленность будет рентабельна при более дорогом парсинге с меньшими нагрузками, то они вам начнут кидать капчу, как это делают яндекс или гугл.
Капча зависит не от рентабельности, а от технической реализации защиты. Кто, что и по каким критериям считает высокой или критической нагрузкой.
Понятно, что всё упирается в деньги в конечном итоге. Но взаимосвязь здесь не такая непосредственная, как кажется.
Ваш парсинг требует много дополнительных серверов.
Это тоже вопрос архитектуры. К примеру, для такой нагрузки требуется всего пара-тройка не самых сильных машин:
Имеются в виду пиковые значения(справа вверху).
Я уже убеждён, что всё правильно делаю
Повторюсь, дьявол в деталях. Так-то услуги хостинга и у федеральных провайдеров есть.
Главное потом не возмущаться, отправляя в блеклисты всех "хостеров" скопом и удивляясь, что от этого нет никакого толку. В лучшем случае.
LCC это компания с ограниченной ответственностью
Вот это новость. Ещё немного, и Вы найдёте форму собственности большинства филиалов Яндекса. Правда, Чеко в этом не всегда поможет.
Только всё это не имеет отношения к делу. Адрес, который Вы дали, принадлежит LIR'у, а лир может заниматься чем угодно. Хоть ip-телефонией. Для которой, как ни странно, тоже может быть нужен датацентр. Более того, в датацентры идёт вся оптика от маршрутизаторов, которые обслуживают жилые массивы. Те, что с домашним интернетом и бесплатным доступом к онлайн-кинотеатрам на полгода.
Видите, какие чудеса.
И да, никаких "кто-то, нагло, под видом" и пр. Мейловцы и запускают. Собственными руками.
Но если настроить, то он все соберет
Дьявол в деталях. 389 позиций ни о чём, промышленный объём это миллионы, т.е. десятки запросов в секунду.
Рандомную подкатегорию всю читает.
Это сколько позиций?
В чатах парсеров больше всего жалуются именно на Озон. И на 2Гис.
Весь AS
Вся.
Проверяем что такое M100 LLC
М100 может быть просто брендом. Никаких указаний, что владелец является хостингом, нет.
для ХЗ каких уже целей
Скорее всего, выкатят новый сервис через некоторое время. Или не очень новый.