- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу

Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков

В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
В последнее время многие seo-шники столкнулись с проблемой быстрого «бана» IP адреса при парсинге выдачи поисковых систем. Конечно бан — условно, это всего лишь просьба ввести капчу. Одни из столкнувшиеся с проблемой — пользователи программы yazzle, им в первую очередь и хочется рассказать как можно поднять простой некеширующий прокси-сервер на своём сервере или VDS.
Конечно, можно использовать тяжёлый программный пакет SQUID, который зарекомендовал себя как надёжный кеширующий прокси-сервер, но я предпочту разработку отечественного программиста из Нижнего Новгорода. Да, если кто уже догадался, это будет прокси-сервер 3proxy.
Не смотря на его функциональность (подробнее на официальном сайте 3proxy.ru), нам будет достаточно просто организация HTTP прокси-сервера.
Рассмотрим установку и настройку сервера на примере VDS на базе FreeBSD 6.3 от FirstVDS.
Для начала сделаем нового пользователя VDS, для этого cоздаём в ISPmanager нового юзера, пусть имя ему будет 3proxy.
Подключаемся с помощью putty по ssh (справочник по ssh) к серверу и проходим аунтефикацию.
Далее нам надо скачать, установить, настроить и сделать автоматический запуск 3proxy.
Установка и настройка прокси-сервера
Далее загружаем исходники последней версии прокси-сервера (на момент написания статьи 0.5.3):
Всё что нам надо сделать перед компиляцией, это добавить в конфиг одну строчку, чтобы сервер был анонимным.
Вставить строчку вверху, в блоке определения переменных
Всё, теперь смело компилируем:
Секунд через 20-30 всё будет готово и можно продолжать.
Теперь создадим файл конфига для нашего прокси-сервера:
А в конфиге укажем что для использования прокси-сервера необходимо авторизоваться:
Где 92.92.92.92 — ваш IP адрес.
Чтобы сохраниться, жмём ctrl+c и вводим exit enter. Я интуитивно в первый раз всё нашёл, хотя и немного другим способом.
Вот и всё, если не терпится, то можно запустить и проверить работоспособность:
Если в списке процессов (команда top или ps -ax | grep 3proxy) есть 3proxy — значит установка и запуск прошли успешно. Пробуем прописать в браузере IP адрес и порт 3128 (стандартный, например изменяется добавлением в конфиге -p8080 к команде proxy для порта 8080) и заходим на страничку http://gogolev.net/tools/ip/, где сервер выдаст вам ваш IP адрес, с которого поступил запрос. Увидели адрес своего VDS? Тогда не надо рвать клочь на голове перечитывая статью.
Настройка автоматического запуска прокси-сервера
Одна из сложностей, которая возникла (лично для меня), это запуск прокси-сервера при старте VDS под правами пользователя, а не рута. Спасибо друзьям, без вашей помощи статья бы не вышла в таком виде.
Для начала подключаемся через ssh к VDS под юзером с правами root.
В файл 3proxy.sh записываем:
Не забывайте в последней строчке поставить ковычки, а то можете потерять полтора часа как я, думая: «какого фига не работает ssh и ftp, но по 80 порту отдаётся правильная информация?»
Сохраняем файл, и добавляем файлу права на выполнение:
Теперь можно перезагрузить наш VDS:
Через минуту опять подключаемся по ssh, и если видим процесс 3proxy командой top или ps -ax | grep 3proxy, то можно считать установку прокси-сервера 3proxy законченной.
Установка прокси-сервера на несколько IP
Первая мысль была, создать в IPSmanager ещё одного пользователя и повторить для него все шаги. Вторая — для того же пользователя сделать копию папки 3proxy cp -r 3proxy 3proxy2 и отредактировать конфиг. Но самый простой способ, добавить в конфиг прокси строчку:
proxy -i93.93.93.93 -e93.93.93.93
Да, да. Готово. Ещё раз перезагрузите VDS и можете начинать работать.
(с) мой блог Установка прокси-сервера на VDS.
Спасибо что дочитали статью, надеюсь на ваши комментарии, пожелания и замечания.
А чем вам не нравится нормальная установка из портов?:)
А чем вам не нравится нормальная установка из портов?:)
Возможно чуть проще. Подумал о портах чуть позже как начал писать статью.
Спасибо за уточнение ☝
Хотя часть с настройкой конфига / автозапуском по прежнему актуальна :)
G0gA,
Вы сами пробовали Ваше творение???? Есть смысл менять ВНЕШНИЕ прокси сервера. В чем смысл использовать собственный прокси?
Что Вам мешает использовать обычную подменялку проксей?
PS В догонку. Перестаньте Вы использовать всю эту гадость, типа семонитора и язла. Неужели, перед тем как столько всего изобретать(с адресами, маскарадингом, прокси) не появляется желание чуть-чуть подумать и решить, что никакой пользу от таких программнок просто нет
T.R.O.N, да пробовал, работает.
Спасибо за отзыв.
Можете уточнить? Если честно, не понял про что речь.
re PS:
"Папы разные важны, папы разные нужны". Возможно в другой схожей ситуации кому-нибудь понадобиться установка прокси на вдс, не обязательно для язла. Не поверю что не возникала желание иметь список своих быстрых проксей.
Хоть и есть свой софт, иногда приходится юзать и покупной, что с этого плохого? Да, я не такой гуру, чтобы раскрутить бесплатно проект с помощью вирусного маркетинга, либо аналогичным способом, без анализа конкурентов.
Можете уточнить? Если честно, не понял про что речь.
Ставится софтина типа http://www.proxyswitcher.com/ или http://www.freecap.ru/
или которая пишится на коленках очень быстро. Задача просто менять
[HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\Internet Settings]
"ProxyServer"=".................." с любым интервалом
Ставится софтина типа http://www.proxyswitcher.com/ или http://www.freecap.ru/
или которая пишится на коленках очень быстро. Задача просто менять
[HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\Internet Settings]
"ProxyServer"=".................." с любым интервалом
Теперь понял.
Немного другая задача у меня: Получить список быстрых прокси, через которые кроме меня никто выдачу ПС не анализирует.
Как их использовать помимо язла - примеров много.
зы. FreeCup'ом пользуюсь для запуска WebMoney через прокси. Нравится. Использовать "соксификатор" для тяжёлых софтин смысла нет, в них как правило такая опция встраивается изначально.
Получить список быстрых прокси, через которые кроме меня никто выдачу ПС не анализирует.
Чем Ваш список анонимных прокси будет лучше, чем прямой вход. Ведь количество адресов у Вас ограниченно. В лучшем случае их 256 разбитых на 4 подсетки класса C. Анонимность прокси проверяется пулей. И всеравно бан. Но бан по IP.
Можно дополнительно пользовать сокс, но тот-же эффект.
А кто Вам сказал, что яша, баня IP не смотрит на RIPE. Ведь вляделец сеток один, и повод бана - один. Кто мешает забанить все подсетки? Кики тоже штука полезная.