- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Добрый вечер.
Цель: Проверять большое количество доменов на занятость. Круглосуточно.
Сам вижу так:
1. Пишется программа с поддержкой прокси. Вбивается 100 проксей. Вбивается, допустим, 3к доменов. Ставится 5 потоков. Программа начинает проверять весь список, использую первые 5 айпи. Потом следующие 5 айпи. Когда вся сотня пройдена можно по новому кругу (времени должно пройти достаточно) чтобы бана не было.
Строчки с свободными доменами выделяются другим цветом. Для уменьшение нагрузки можно приделать фичу чтоб домены,.... которым ещё не скоро освобождаться пока не проверялись.
2. Пишется скрипт под юникс систему с таким же функционалам как в первом варианте.
Теперь собственно вопросы:
1. какой из вариантов лучше?
2. такое вообще реализовать можно? будет нормально работать?
3. через сколько проверок наступает бан айпи отдельного? (зоны: com. net. org).
3. ваш вариант?
4. есть ли готовые продукты?
P.S. Ресурсы есть. Потому если хотите предложить вариант более громоздкий или требующий более больших материальных вложений пишите.
Огромная просьба отвечать строго по существу без флуда.
Заранее благодарен.
1й вариант - /ru/forum/309330
1й вариант - /ru/forum/309330
спасибо. знаю прогу. сейчас пробую.
Rishpik добавил 25.01.2009 в 17:39
P.S. буду рад.... если кто ответит на все вопросы разом :)
Теперь собственно вопросы:
1. какой из вариантов лучше?
2. такое вообще реализовать можно? будет нормально работать?
3. через сколько проверок наступает бан айпи отдельного? (зоны: com. net. org).
3. ваш вариант?
4. есть ли готовые продукты?
Смысл проверять их круглосуточно? Они же до дня оплачены, раз в 12 часов это максимум.
1) Мой вариант - делать это скриптом под уникс по крону (хотя не обязательно, см. дальше). 3000 доменов это семечки, прокси даже не нужны.
2) можно
3) Неизвестно, но существует много сайтов где можно проверять whois домена. Я знаю например 12, а их намного больше.
5) не знаю
4)
Я бы сделал так (чтобы не геммороится с проксями). Покупается VPS под виндой (желательно 2008, но не принципиально). К нему приделывается N айпи (ну 10 наверное хватит на всю жизнь). Почему под виндой - работа с внешними айпи под виндус делается просто привязкой к интерфейсу, это очень просто и нет зависимости от типа/работоспособности прокси. Имеется список серверов для проверки whois. Раз в сутки в базу/файл генерируется список запросов в виде связки {домен, сервис проверки, используемый айпи}, с приоритетом по айпи.
Т.е. сначала с одного айпи опрашиваются все сервисы по очереди, потом айпи меняется на следующий и снова все сервисы, и так до конца, потом айпи меняется на предыдущий.
Сами запросы выполняются скриптом, который запускается например каждые 3 часа, он делает эти запросы пока все айпи не получат бан и выключается. При следующем запуске пропускает все домены, на которые есть информация. И работает круглосуточно. Предполагается, что бан на айпи действует 3 часа. Если больше - увеличиваем интервал. При бане главное не как много запросов, а как часто они делаются, как правило так.
Почему Win2008 - там на веб-сервере уже стоит PHP и cURL, легче найти исполнителя. Иначе придется ставить Wamp / Denwer или вручную апач поднимать, что на винде не всегда благополучно выходит, при условии доступа извне.
У меня таким образом работает парсилка позиций с яши, гоши и рамблера. около 20000 запросов в сутки на каждый из серверов делается без проблем, с 10 айпи.
А реализовывать это - день работы толковому прогеру.
По ресурсам - WinVPS с 10 айпи это где то пусть 1000-1500 в месяц, работы прогера ну хз, немного в общем.
Смысл проверять их круглосуточно? Они же до дня оплачены, раз в 12 часов это максимум.
1) Мой вариант - делать это скриптом под уникс по крону (хотя не обязательно, см. дальше). 3000 доменов это семечки, прокси даже не нужны.
2) можно
3) Неизвестно, но существует много сайтов где можно проверять whois домена. Я знаю например 12, а их намного больше.
5) не знаю
4)
Я бы сделал так (чтобы не геммороится с проксями). Покупается VPS под виндой (желательно 2008, но не принципиально). К нему приделывается N айпи (ну 10 наверное хватит на всю жизнь). Почему под виндой - работа с внешними айпи под виндус делается просто привязкой к интерфейсу, это очень просто и нет зависимости от типа/работоспособности прокси. Имеется список серверов для проверки whois. Раз в сутки в базу/файл генерируется список запросов в виде связки {домен, сервис проверки, используемый айпи}, с приоритетом по айпи.
Т.е. сначала с одного айпи опрашиваются все сервисы по очереди, потом айпи меняется на следующий и снова все сервисы, и так до конца, потом айпи меняется на предыдущий.
Сами запросы выполняются скриптом, который запускается например каждые 3 часа, он делает эти запросы пока все айпи не получат бан и выключается. При следующем запуске пропускает все домены, на которые есть информация. И работает круглосуточно. Предполагается, что бан на айпи действует 3 часа. Если больше - увеличиваем интервал. При бане главное не как много запросов, а как часто они делаются, как правило так.
Почему Win2008 - там на веб-сервере уже стоит PHP и cURL, легче найти исполнителя. Иначе придется ставить Wamp / Denwer или вручную апач поднимать, что на винде не всегда благополучно выходит, при условии доступа извне.
У меня таким образом работает парсилка позиций с яши, гоши и рамблера. около 20000 запросов в сутки на каждый из серверов делается без проблем, с 10 айпи.
А реализовывать это - день работы толковому прогеру.
По ресурсам - WinVPS с 10 айпи это где то пусть 1000-1500 в месяц, работы прогера ну хз, немного в общем.
спасибо за развернутый ответ... но это все теряет свою актуальность.... если использовать продукт.... ссылка на который была дана в этом топике. согласны? Если прокси поднимать на своем впс то проблем впрнципе не должно быть.
Rishpik добавил 25.01.2009 в 18:59
вашу схему недополнел :) как это с 10 можно проверить? бана не будет?
Rishpik добавил 25.01.2009 в 19:00
Смысл проверять их круглосуточно? Они же до дня оплачены, раз в 12 часов это максимум.
всмысле? после 12 по мск освобождаются комы и неты?
Советую сперва проверять наличие ip у домена (в php функ. gethostbyname() вроде), и только если домен не закреплен ни за каким ip, тогда делать запрос на whois-сервер и плясать дальше. На лицо уменьшение трафика и время проверки.