Google: Обнаружена, не проиндексирована

Здравствуйте!

Есть 10млн+ ссылок вида: site.ru/items/brand/number

Запрос в гугле: site:site.ru items

Показывает около 600 тысяч из десяти-то плюс миллионов!

Вычитал какое-то соотношение полезного текста к коду.

На проверенных мною вот сегодня страницах, текст колеблется от 14% до 15%

Беру одну из страниц, что обнаружена и не в индексе, к примеру:

site.ru/items/brand_34/number_63

Ищу в гугле: brand_34 number_63

Открывают первых конкурентов, все ниже 2%, один даже 0.14%

Отсюда можно сделать вывод, что это не главное?!

....или этот сайт это не правильно делает

Связка brand+number не повторяется, дублей страниц на сайте нет.

Индекс доходил до 3-4 млн, мы во сне подпрыгивали и улыбались от посещения с таких страниц.

Но в один прекрасный момент, все полетело, и я начал изучать ситуацию.

Как выяснилось, на подобных страницах есть изображения, которые были запрещены в robots.txt

Не спрашивайте почему, не помню, для чего-то делал, сглупил, недоконтролил.

Есть несколько тысяч страниц с кривым номером, и такие страницы в ошибках, но это мелочь с 10 млн нормальных.

Перед тем как создавать тему, пробежался по первым топам и там увидел фразу:

Может это помешать гуглу индексировать, мол а зачем, вы еще ошибки не исправили?

Вот такое обстоятельство дел:

Так как ссылок 10млн+, то они сделаны в виде текстовых файлов по 5к ссылок в каждом.

Естественно gz-ипнуты, хотя не знаю можно ли по другому и как лучше.

sitemap выглядит так:

<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">

    <sitemap>

      <loc>https://site.ru/sitemaps/offices.xml</loc>

      <lastmod>2018-11-30T11:42:52+03:00</lastmod>

   </sitemap>

   <sitemap>

      <loc>https://site.ru/sitemaps/statics.xml</loc>

      <lastmod>2018-11-30T11:42:52+03:00</lastmod>

   </sitemap>

   <sitemap>

      <loc>https://site.ru/sitemaps/sitemap1.txt.gz</loc>

      <lastmod>2018-11-30T11:42:52+03:00</lastmod>

   </sitemap>

   ...

   <sitemap>

      <loc>https://site.ru/sitemaps/sitemapN.txt.gz</loc>

      <lastmod>2018-11-30T11:42:52+03:00</lastmod>

   </sitemap>

</sitemapindex>

Если обратили внимание, отсутствует changefreq, добавить или в нашем случаем не в этом гвоздь?

Опять же как добавлять, не будет же гугл каждый месяц по 10млн записей проходить.

Если сделать год, тогда смысл, он еще старые не обработал....

Подскажите куда копать?

Спасибо.