Парсинг результатов веб-поиска Гугла и Яндекса

И тот и другой, конечно же, не разрешают в прямую себя парсить (это, кажется, написано в их пользовательских соглашениях и это реально не работает - я проверил).

Однако у Гугла есть Google Custom Search API. Уверен, что и у Яндекса есть API, позволяющий либо за деньги, либо бесплатно в определенных пределах ЛЕГАЛЬНО получать результаты поиска по вебу.

У Гугла, например, указано, что API допускает бесплатное использование при не более чем 100 запросов в сутки.

Однако, я так и не понял, позволяют ли эти API осуществлять поиск в широких пределах.

При создании search engine в панели Гугла можно либо указать сайт, по которому предполагается осуществлять поиск, либо искать по всему вебу, но только среди сайтов с правильной разметкой (соответствующих schema.org).

У Яши я пока что-то вообще не нашел подходящий API (но признаюсь, я только начал искать).

А что бы хотелось: например, найти топ 100 (200, 300, 500... - сколько будет возможно) документов по заданному запросу (например, "Самостоятельное путешествие по Греции", ну или мало ли что еще) и получить URLы этих документов (в принципе мне больше ничего не нужно, но если будет возможность получить еще даты, например - будет здорово, мало ли пригодится).