Хотите верьте, хотите нет, но у Яндекса точно есть факторы ранжирования по Яндекс Метрике. Источники называть не буду.
Такая функция есть у SeoPult она включена(если попросить) у аккаунтов с большим оборотом. Хотя можно и парсер написать =)
Интересен будет выделенный сервер с которого будет происходить парсинг в промышленных масштабах =)
А вы уверены, что это точно Яндекс делает запросы, а не чей то парсер с прописанным User-Agent Яндекса?
У меня не было цели кому-то вредить. А логика такая. Есть канал и объем трафика, которые заранее известны, есть железо сервера, которое заранее известно - выполняю действия возможные при данных параметрах, при этом никакому конкретному сайту вреда я не наношу.
Сервера арендуются с разными целями. Если канал и мощности сервера позволяют, почему я не должен его грузить?
В 100500 не грузил, грузил в 12500, прежде чем минусовать читать бы научились =)
Напишите плиз в личку ваше предложение.
"We have received information that there was an attack from your server."
Дальше перечисление соединений с моего ip на другие ip.
Я чекал паблик прокси в 12500 потоков.
Цели: парсинг поисковиков, некоторых сайтов и сервисов в многопоточном режиме. Ни в коем случае не планирую вредить работе какого-либо конкретного сайта.
Использую hetzner. Изначально брал для парсинга, сейчас жалею, как только нормально настроил софт на большое кол-во соединений(12500 потоков чекалка прокси), тут же пошли абузы от сервера.
Кто нибудь знает адекватные европейские сервера, которые легко дадут делать большое кол-во соединений(при отстутсвии ддоса какого либо сайта с моей стороны)? Российские сервера прошу не предлагать, ибо цены существенно дороже. Сейчас присматриваюсь к серверам во Франции, но саппорт не может четко ответить будут ли проблемы с Дата центром или нет.
Планируете ли вы реализовать API в программе?
Сейчас прокси уже работают.
