У меня тоже полностью не индексируются сайты созданные в октябре, ноябре, декабре. Тематика сайтов разная. В основном не входят в индекс страницы 3-4 уровня, хотя карта сайта есть.
Сделал так, получилось примерно 110 строк в robots.txt, прошел месяц и в поиск яндекса почему то попали только категории и подкатегории и 3 статьи? всего статей 1200, категорий 10, подкатегорий 50.
Allow: /novosti.html$
Allow: /novosti/kategoriya.html
Allow: /novosti/kategoriya/podkategoriya.html
Allow: /novosti/kategoriya/podkategoriya/*.html$
Disallow: /novosti/
Вот так правильно?
Disallow: /новости/*.html
Disallow: /новости/категория/*.html
