Чем парсить контент?

С помощью хпарсер лет 5-6 парсил рамблер (у которого выдача яндекса). Поскольку парсишь статьи, то ниче страшного, что какой-то урл будет немного не на той позиции как в оригинальной выдаче яндекса.

Последний раз парсил в мае или июне 2020, там вроде новая капча появилась, но думаю проблем быть не должно.

x-parser + capmonster = парсил без прокси и без расходов. Иногда бывало 200-300 капч за сутки, а иногда 20 тыс. Потому что:

парсил в 12-14 окон хпарсера, в каждом по 50 потоков. Выдача тоже 50 результатов. Итого 600-700 потоков (конечно нужен соответствующий проц и соединение напрямую, без роутера). По несколько статей на ключ. 10 гб статей в сутки.

Кроме этого, есть платные сервисы для парсинга xml яндекса и гугл. Они есть в хпарсер. Недавно так гугл парсил, всё ок.

X-parser + Xevil топовый набор, может многое, Яндекс капчта 100% разгадывание, не нужно платить сервисам

Если что-то парсить прямо сложное, datacol можно подключать в работу

Во как раз связка работает на серваке:

Живы только сейчас их так с ходу и не отличишь от нормальных сайтов, сделанных для людей. А суть-то та же. Дорвеи - это сайты, сгенерированные для получения траффика из поисковых систем. При этом сайты сейчас генеруются на лету, ссылки проставляются автоматом и так далее.

Ассортимент выбора настолько широк (от браузерных приложений до самостоятельных программ типа A-parser и Zennoposter), что отталкиваться надо от задачи.

Если просто спарсить отдельные поля, то хватить программы SC Frog и 15-минутного прослушивания ролика про использования Xpath.

Если с данными нужно выполнять какую-то логику (сравнения, калькуляции, работа с БД), то мой выбор - Zennoposter. Фактически это уже не просто программа, а полноценная среда для программирования необходимой автоматизации (не так давно об этом писал).

Зависит от задачи.

В общем и в среднем в парсинге конечно надо разбираться. 

у меня лет 5 назад было около 150 статей,  после попытки загрузить их разом домен влетел под какой-то фильтр яндекса, как подозрительный