Работа с операторами google

оператор site:site.ru может выдать только один домен. Как вы хотите, чтобы там выводились другие домены??

Согласен немного ошибся с обобщением :)

запрос вида "inurl:".com/article" intitle:"keyword"". На .com доменах в папке статьи ищу вхождение нужного ключа в заголовке.

Ребята, никто не сталкивался?

А что гуглу делать, если на сайте несколько статей с ключом в тайтле? Вряд ли получится оставить только по одному домену.

Ну думаю, что в данном случае не inurl надо использовать, а site .

К примеру введите inurl:"us/article"... Поиск происходит не только по .us доменам, а по тем у кого в url имеется "us/article" .

Поэтому запрос будет такой:

site:com/article intitle:"keyword"

А если у вас несколько позиций занимает один домен, просто "отминусуйте" его, т.е.:

site:com/article intitle:"keyword" -site:example.com

Ок, тогда разовьем немного дальше тему. Допустим я получил 70к документов, но в выдаче гугл показывает только 1к. Есть ли способ спарсить/увидеть остальные документы?

Добавлять уточнения к запросам: номера, слова, даты... да все что угодно.

Потом просто удалять дубли из результатов.

Чего то не пойму как это поможет решить проблему, ок, вместо 40к результатов я получу 3к. Как мне их забрать, при условии, что гугл мне через веб интерфейс отдает 1к?

С первого по 70000-ый вам гугл так просто и не отдаст.

Уточняющими запросами вы можете фильтровать (уменьшать) кол-во результатов, но собирать все равно только 1000 шт.

Допустим вы сделали 500 уточнящий запросов к запросу с 70к результатов. Собрали таким образом 500 * 1000 страниц. Затем удаляете дубликаты и получаете, например, 35000 уникальных результатов. Т.е. вам удалось вытащить половину от того, что нашел гугл.

Как видите ничего сложного, просто нужно попрактиковать в составлении уточнящих запросов и выбрать хороший парсер.