Как можно еще найти страницы, которые существуют, но поисковик не видит.

Как говорит Бурундук: "ни как".

Гуглом попробуйте :)

Спасибо, но результат что в гугл что в яндекс, почти один до одного, разве что от гугл более чистый результат будет.

Вот например если ввести в поисковике по ключевым словам, за июль месяц: "Претензии на WMID# , подана 2015-07 site:arbitrage.webmoney.ru"

То в результате будет около 35 претензий, хотя по статистике: https://arbitrage.webmoney.ru/asp/getStat.asp только за один день в среднем 110-150 претензий. А если в поисковике за любой месяц ввести то только примерно 30-40 будет, а за конкретный день, не более 1 или 2.

Хотя каждая претензия имеет конкретный адрес (http://arbitrage.webmoney.ru/asp/claims.asp?wmid=167945316817) Но находит только мизерную часть любой поисковик, как можно найти остальные.

Каким еще способом можно найти, если физически они существуют?

Спасибо, но результат что в гугл что в яндекс, почти один до одного, разве что от гугл более чистый результат будет.

Вот например если ввести в поисковике по ключевым словам, за июль месяц: "Претензии на WMID# , подана 2015-07 site:arbitrage.webmoney.ru"

То в результате будет около 35 претензий, хотя по статистике: https://arbitrage.webmoney.ru/asp/getStat.asp только за один день в среднем 110-150 претензий. А если в поисковике за любой месяц ввести то только примерно 30-40 будет, а за конкретный день, не более 1 или 2.

Хотя каждая претензия имеет конкретный адрес (http://arbitrage.webmoney.ru/asp/claims.asp?wmid=167945316817) Но находит только мизерную часть любой поисковик, как можно найти остальные.

Каким еще способом можно найти, если физически они существуют?

Прошу знатоков помочь мне в этом вопросе, может в 21 веке все же есть возможность найти ту информацию которая физически есть и адрес страниц постоянный, почему поисковики не находят информацию по ключевым словам (на том WMID где есть претензия), только мизерную часть поисковик находит а остальную огромную часть любой поисковик игнорирует.

Ключевые слова - огромную часть. ЦОДы поисковиков вмещают бла-бла-байт данных, но всё же не резиновые, чтобы запоминать всё и вся.

Плясать надо от печки. Какова цель? Создание сайта-зеркала с претензиями? Копание компромата на кого-то?

За появлением-удалением почти всех претензий можно следить через Events-сервис. Также есть секретная страничка arbitrage.webmoney.ru/asp/todayclaims.asp со списком последних поданных. Упс, уже нет :)

PS: что касается robots.txt - как минимум гугл давно плюёт на него

А зачем вам нужны все реальные тысячи-сотни тысяч претензий, если хватит десятка-сотни для принятия решения о качестве компании и необходимости работы именно с нею?

Необходимо найти часть заемщиков по невозвратам, у кого актуальные претензии.

Меня интересует, вот если к минимуму ввести ключевые слова (чтобы не путать и не загружать поисковик), например поиск в гугле: "Претензии на WMID# , подана 2015-07 site:arbitrage.webmoney.ru"

то за июль месяц гугл находит всего на всего 34 претензий, хотя только за 1 день их более 120-140 на собирается.

Пробую найти с помощью Offline Explorer, но там только глубина ссылок, не вариант.

По поводу Events-сервиса, только что смотрел - ни одной претензии нет, действительно сервис есть такой, но находит и там этих событий.

Какие еще есть сервисы, которые индексируют все страницы в интернете, ведь физически страницы есть и ключевое слово есть, но поисковик игнорирует.

У вас русский не родной язык?

Так коряво строить предложения - это нужно постараться.

ТС по русски не может двух слов связать, но пытается анализировать заемщиков.

:)

По-русски пишется через дефис.

Прошу помочь, как заставить поисковик найти страницы, которые физически есть.

Или может сервисы специальные существуют.