- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Уважаемые форумчане!
Следующий вопрос:
мне нужно написать тузлу, которая много и часто будет обращаться к Яндексу (парсить 1 страницу выдачи)
Вопрос:
как защитить IP от бана Яндексом?
(если такого нет, так и скажите :) )
Заранее благодарю за ответы.
Парсить выдачу можно через прокси, которые в свою очередь чередуются. Можно также использовать Яндекс.XML.
Еще есть pda.yandex.ru
Вопрос:
как защитить IP от бана Яндексом?
Парсить через прокси. И представляться Эксплорером.
Уважаемые форумчане!
Следующий вопрос:
мне нужно написать тузлу, которая много и часто будет обращаться к Яндексу (парсить 1 страницу выдачи)
Вопрос:
как защитить IP от бана Яндексом?
(если такого нет, так и скажите :) )
Заранее благодарю за ответы.
Proxy используй в своей тульзе....
itin, Геннадий0, MASTAKILLA, а где можно взять список рабочих прокси? Желательно русских (или это не принципиально?)
Вообще раздобыть и обновлять список живых прокси это довольно непростая задача.
Не принципиально. Пока выдача Яндекс от принадлежности ip к тому или иному региону не зависит. Списки выкладываются на некоторых ресурсах, продаются за деньги. Конкретных линков не дам, давно не интересовался этой темой :)
itin, Геннадий0, MASTAKILLA, а где можно взять список рабочих прокси? Желательно русских (или это не принципиально?)
itin, Геннадий0, MASTAKILLA, а где можно взять список рабочих прокси? Желательно русских (или это не принципиально?)
Всегда беру тут:
http://www.leader.ru/secure/ там ссылочка есть.
Однако есть еще одна небольшая проблема. Яндекс не очень любит прокси и иногда ругается, что "с этого IP" заходить нельзя :) Во всяком случае раньше там было.
Если вы будете парсить выдачу раз в день, то никто вас не забанит.
Еще раз повторяю, представляйтесь в юзерагенте известным браузером.
Уважаемые форумчане!
Следующий вопрос:
мне нужно написать тузлу, которая много и часто будет обращаться к Яндексу (парсить 1 страницу выдачи)
Вопрос:
как защитить IP от бана Яндексом?
(если такого нет, так и скажите :) )
Заранее благодарю за ответы.
IP банить - бред... полный бред... на одном IP могут быть тысячи людей...
К примеру взять твой локальный комп сделав на нем штуку которая хоть обдолбит яшу со всех сторон - 1. яша этого даже не заметит, 2. забанив твой IP они забанят все остальные IP ....
У меня система работает уже пол года дает в сутки около 200 000 запросов к яше и ничего.
Геннадий0, огромное спасибо.
тогда такой вопрос:
какое количество обращений в минуту/час/день Яндекс воспримет как попытку автоматического парсинга и попытается забанить IP
P.S. если у кого есть список хороших прокси (с нормальным пингом), скиньте в личку. В долгу не останусь
Геннадий0, огромное спасибо.
тогда такой вопрос:
какое количество обращений в минуту/час/день Яндекс воспримет как попытку автоматического парсинга и попытается забанить IP
P.S. если у кого есть список хороших прокси (с нормальным пингом), скиньте в личку. В долгу не останусь
Я через него делал парсинг сайта одного - около 100 000 записей...
Тоексть я яшу использовал как мост для того чтобы спереть сайт один который при быстром обращении забанил мне IP, я слил сайт с помощью ссылочки найденые слова для сайта который сливал =)
так как яшу он не банил при быстром обращении 😂
Ну где то за минут 10 слил все страницы... =) Тепер посчитай
Но лучше не эксперементировать над Яшей... Минимально запросов делай, если хочешь напиши мне в личку что ты хочешь сделать, может у меня подобное есть в системе тебе доступ дам будешь через нее работать, чтобы повторно работу не делать и не мучать яшу