О нестандартном поиске.

Нужон совет бывалых и опытных.

Иногда возникают задачи, с которыми обычные средства поиска (aka google, yandex, rambler, aport, ...) справляются неудовлетворительно... как то:

1. искомое находится на страницах, которыми поисковики обыкновенно брезгуют, как то разного рода форумы (часто c параметрическими путями), гостевые книги с посещаемостью одна запись в месяц, страницы с крайне малым числом входящих ссылок... В общих словах, всякие подворотни Веба куда никогда не заползёт никакой паук...

2. желателен "сырой" (raw) поиск, по исходному коду страницы, включая содержимое тегов комментариев, исходный код JavaScript, разного рода параметры.. Даже если отвлечся от экстрима, записями вроде mailto:login@domain.ru , как мне показалось, поисковые машины брезгуют, не отзываясь ни на "mailto:login@domain.ru", ни на "login@domain.ru" или "login".

Интересуют, как правило, русскоязычные ресурсы, в большинстве случаев ключ для поиска известен точно (работа с грамматикой не требуется). Пока что, действуя обходными путями, вылавливая ссылки по контексту и просеивая материал вручную.. Трудоёмко. Существуют ли доступные поисковые машины / полудокументированные опции к ним, эффективные для (1) или хотя бы для (2)? Есть подозрение, что гугл мог бы (2), но пока намёков не видел..

И ещё вопрос: есть ли в природе софт, реализующий небольшую эффективную поисковую машину, посредством которой можно обработать некоторое множество УРЛ с заданной глубиной, и провести по нему исчерпывающий поиск?

Сори, если ошибся разделом. Всем спасибо.