Как бороться со скачиванием страниц сайта с разных IP?

Я так и думал. 

Конечно, то, что предполагается для бесплатного ознакомления, покупать не будут, да и в целом, довольно быстро вырастут отказы.

А если весь Macintosh в бан? Не вариант? Ко мне, например, с него пользователи почти не ходят.

Сайт англоязычный, а зарубежом Macintosh'ем многие пользуются. Чего греха таить - у меня и у самого MacBook Pro  :-)

Тоже есть способы, но сложнее,

поэтому платные для хозяина контента.

Короче, если хотите защиту, то где-то надо платить.

За решение капчи, за подписку, за технологию, ...

А бесплатную любовь придумали русские.

Чтобы страдать.

ищите другие закономерности помимо юзер-агента и ip.

Тут советуют капчу - ставьте не для всех, а после например, 50 просмотров разных страниц за час с одного ip. Потом еще 50.

Думаю, можно вот так сделать, компромиссно: юзер (с уникальным IP) зашел на страницу с формой и капчей, ввел ее правильно - все, при последующем обращении к форме капча ему больше никогда не выдается. Но если ввел неправильно, то капча при последующих обращениях к странице к форме будет показываться всегда. Да, при опечатке будет страдать нормальный юзер, но зато это отсечет программу. Чтобы разрулить это, можно раз в сутки очищать массив IP с результатами ввода капчи.

я бы не запрещал парсинг, а подсовывал боту левак. но не отличимый внешне. 

тк еще не было проектов откуда парсинг бы запретили на 100процентов. да усложнить и сделать парсинг дороже можно, но если на сайте есть инфа без пароля - ее заберут. будет сложно - закажут у школоты ручной парсинг и все.

Это хорошая идея сама по себе, и она мне нравится, но данный конкретный бот делает все, чтобы его было не отличить от нормального посетителя. Просто в логах потом видишь, что с каждого из указанных мной в первом комментарии IP-адреса скачали по 46 раз HTML-страницу моего сайта с перебором определенных параметров в HTML-форме через метод GET.  Собственно, только после просмотра лога и становится понятно, что это был бот. Он даже страницу моего сайта запрашивает специально с задержкой на случайное число минут от 1 до 3 примерно, чтобы максимально имитировать поведение человека. То есть не выдает все 46 запросов серверу сразу, а специально растягивает этот процесс на час-два. Вот такой вот бот.

CloudFlare конечно

прекрасное бесплатное решение!

ну, почему американцы не всегда могут быть такими красавчиками как с CloudFlare?

гадят и гадят всем и по всему миру... 

видимо хорошо вы инфу на сайте собрали, раз люди так стараются.

все же очень хотелось накормить бы его леваком)