Почему в Яндекс значительно больше проиндексированных страниц, чем в Google?

Причин может быть много.
Во-первых, у Яндекса нет лимитов на сканирование сайта. У Гугла есть.
ЦА гугла - это в основном США. Кириллический сегмент - третий мир, на него Гуглу жалко тратить вычислительные мощности. Это, в общем, неплохо, потому что и предъяв тут Гугл кидает куда как меньше, чем в бурже.
То, что Яндексу нормально заходит, гугл может посчитать "тонким" контентом. Он иначе оценивает ценность документов.
Ну и чуть не самое важное: гуглобот ходит по ссылкам, внутренним и внешним. Тоже лимитированно, но наличие ссылки на страницу для Гугла - очень сильный сигнал "Иди и смотри".

Потому что у поисковиков разные критерии оценки качества страниц, если она недостаточно качественная, то исключается из индекса, пока ситуация не поменяется.