response

response
Рейтинг
324
Регистрация
01.12.2004
Romka_Kharkov:
Тс, вам роутинг объектов обойдется дороже чем выделенный сервер :D
Если вы будете арендовать сервера, то можем разместить в Канаде, ИП адресов дадим сколько будет надо, по стоимости 2$ за штуку , эот и будет мелкоопт, потому как в розницу у нас 4$.

Арендовать виртуалку или настоящий дедик (надо знать для расчета фактической стоимости адреса)? Из скольки C-сетей можно выбирать? Куда я могу сделать трейс? Спасибо.

pupseg:

если немного не по теме - посмотрел у вас в профиле :) - у вас парсер. переходите в другие сегменты рынка. этой услуге осталось жить максимум год:) и даже пачки и даже купленных прокси - не помогут :)

Если не сложно, расскажите, почему именно ;) Можно в личку. Крайне интересно, скажем так, сопоставить данные :)

юни:
Прямо там есть блоки, кстати (тоже уточнить надо).

о, привет. ну вот как раз там мне предлагают 125 за штуку. подразгребусь, стукну в аську.

pupseg:

договариваетесь с рядом ДЦ о техническом трансфере айпи адресов. ДЦ на своей стороне поднимает pptp,p2tp,openvpn-tap - сервер, а вы к этому серверу цепляетесь - как клиент, ДЦ вам выдает реальники из оговоренных диапазонов. минусы этого способа - низкая скорость внешнего аплинка. так как она будет складываться из канала от клиента до сервера в ДЦ + канал от ДЦ во внешний интернет.

понял, спасибо. свои /24 сети, согласен, не в тему, да и бессмысленно это для моих задач. про техническую сторону "прицепления" адресов я как-то думал, что все проще, без впнов, не выше транспортного уровня.

Romka_Kharkov:
1. только RU-UA IP ?

По этим я могу предварительно хоть какие-то объемы/сроки озвучить, остальные надо брать на попробовать.

Romka_Kharkov:
2. Ваш сервер это где?

ох. если поутру ничего не путаю, то в оверсане (виртуалка). но есть еще компы по площадкам, спб-мск, виртуалки и коллокейшины, если это имеет значение.

Romka_Kharkov:
вы хотите какие-то ИП чужие у себя использовать или же будете арендовать где-то сервер с адресами?

хотелось бы на свой сервер IP-адреса подвести. это идеальный, но не единственный вариант. если много адресов и недорого, можно в том же дц машинку взять. для начала пытаюсь просто найти адреса по приемлимым ценам. большинство ру-провов на волне истерии о кончине ipv4 жутко задрали прайсы на адреса (кое-где, например, было 25, стало 200).

Romka_Kharkov:
Стоимость ipv4 на сегодня от 2$ до 4$ где-то так.

собственно, да. насколько понимаю, это публичный розничный прайс (ритейл, так сказать). хотелось бы понять, где начинается мелкоопт и найти под это дело поставщика.

pupseg:
при постановке в ключе: "эй чуваки, есть подсеточек чутка?" - не помогут, или будут предлагать ДЦ в разных странах.

хорошо, как должен стоять вопрос, чтобы он выглядел достаточно серьезно? :) Вот сейчас у меня чуть более сотни адресов в разных С-сетях по нескольким ДЦ - это много или мало? большую часть этой сетки надо обновить по причине совершенно неадекватного задирания прайсов, случившегося в течение конца зимы/начала весны. Если получится все эти адреса собрать на одну-две машины - будет совсем замечательно.

pupseg:
кстати - это еще один вариант: наорендуйте себе средненьких серверов в разных ДЦ с перечнем айпи-адресов - тоже зависит от бюджета.

да в целом как раз так оно сейчас и есть, просто хостеры, повторюсь, которые могли предоставить выбор хотя бы из 5-10 C-сетей, практически синхронно начали задирать прайсы, а мелкие (реселлеры?) либо следуют за ними, либо не дают выбора по сетям.

pupseg:
понадобится - обращайтесь. в постройке всех вариантов участвовал и участвую, помогу после прочтения вольного ТЗ и ознакомления с бюджетом :)

Вы только про настройку или про сами адреса тоже? Я ведь сейчас как раз и пытаюсь бюджет подбить, для этого мне нужны конкретные прайсы на адреса (с возможным дисконтом за объем с указанием объема). Сами работы без адресов не имеют смысла.

Баянчиками развлекаетесь?

Вряд ли kimberlit хозяюшка. Скорее за безграмотность ТСа пнул.

Stream2020:
Не смог разобраться с тем как сделать парсинг в несколько потоков с использованием прокси. Подскажите, где можно почитать про это?

Парсинг идет в один поток, проверка прокси-серверов - мультипоточна.

Вышла новая версия Магадана - 2.2.2!

Около двух недель назад был опубликован Магадан версии 2.2.2, сегодня версия 2.2.2 распространяется с интегрированным патчем 2-2-2-fix-2.

Списочек плюшечек:

- Обновлены системные сигнатуры

- Добавлена настройка рабочих директорий, используемых в разных контекстах

- Опубликована новая Инструкция пользователя: http://manual.magadanparser.ru

- Многочисленные улучшения интерфейса программы, включая поддержку работы при малых разрешениях экрана

- Исправлены известные ошибки

Скачать релиз можно на http://magadanparser.ru, пользователи старых версий прибегают к автоматическому обновлению, встроенному в Магадан: http://manual.magadanparser.ru/Обновление_программы

Самые свежие новости всегда в паблике Магадана ВКонтакте: http://vkontakte.ru/magadanparser

Estelle:
А отчего он так буксует?

Это их внутренние дела.

Estelle:
Это часто с ним бывает?

Нет, не очень. Раз в месяц или реже.

Estelle:
Извините, я в этом деле новенькая, но сегодня и в самом деле очень медленно процесс идет. И постоянно превышается таймаут, если только конечно выставить паузу по умолчанию 270 сек., но тогда совсем заснуть можно(((

Не мучайтесь, установите значение увеличенной задержки поменьше, или количество повторов, необходимое для установления этой задержки, сделайте заведомо большим, чтобы опция срабатывала только в случае крайне длительного простоя сервиса. Почитать об упомянутых настройках можно здесь, ну и вот еще раз о вопросе 2700-т секунд: http://manual.magadanparser.ru/Почему_устанавливается_задержка_парсинга_в_2700_секунд%3F

Stream2020:
Хочу унать следующее.
1.Мне нужно прочекать на чатотность 300к кеев. При добавлении из файла, очень медленно они добавляються в Магадан, за час примерно 50к кеев. Так и не дождался окончания.

Через очередь добавляли? Попробуйте через вкладку импорта в Браузере баз. Вообще, 50к в час - это нереальная цифра даже на селероне. Что-то не то со скоростью обработки данных за пределами программы.

Stream2020:
2. В файле были дубликаты, посмотрел, они не фильтруються на лету
Это так и должно быть?

Все фильтруется. Скорее всего фактически это не дубликаты (например, слова в мультираскладке). Если уверены, что дубликаты, отправьте пример импортируемого файла на support@magadanparser.ru, я лично проверю.

Всего: 3770