Сложно излагаете...
Если Вы хотите закрыть все страницы, адреса которых начинаются с префиксов /директория/страница.html, тогда все будет в порядке.
Вот ссылка на сервис от Яндекса для проверки robots.txt : http://www.yandex.ru/cgi-bin/test-robots?host=
Простой вопрос: Вам было бы приятно попасть с ПС на страницу версии для печати, а не на полную страницу сайта?
Сделать ссылку с версии для печати на главную или на раздел сайта не составит труда, но это не решит сути вопроса.
Можно отметить, что страницы версии для печати иногда более релевантные запросам, так как они содержать преимущественно текстовую информацию без навигации и прочих дополнительных блоков. Но это далеко не повод не запрещать (разрешать) их к индексации.
Скорее всего, из индекса удалены страницы старой, ранее проиндексированной, версии для печати... Соответственно и количество проиндексированных страниц уменьшилось.
Нет, не значит. Гугл не показывает все известные ему ссылки на сайт.
Песочница
Внешние признаки того, что на сайт попал в Sandbox следующие: молодой сайт проиндексирован Google и находится в кэше, однако не выдается в результатах поиска по характерным запросам с высокой и средней конкуренцией, по которым должен был бы находиться.
Источник: WikipediaSEO, SandBox (с поправками)
А явный запрет в правилах для Вас не помеха:
Следует иметь в виду, что размещение рекламного кода AdSense на страницах, основной язык которых не поддерживается, запрещено правилами программы AdSense.
https://www.google.com/adsense/support/bin/answer.py?answer=9727&topic=140
А почему не спросить у самого Яндекса, как он видит файл robots.txt: http://www.yandex.ru/cgi-bin/test-robots?host=
Скорее всего, за очень короткое время, в выдаче останется только один сайт (Яндекс их просто поклеит)...
Взято из Яндекс FAQ (бывает очень не лишним его почитать): http://webmaster.yandex.ru/faq.xml?id=502464#noindex
Может ли робот не индексировать заданные (служебные) участки текста?
Робот Яндекса поддерживает тег noindex, который позволяет решить эту проблему. В начале служебного фрагмента поставьте <noindex>, а в конце — </noindex>, и Яндекс не будет индексировать данный участок текста.
PS: А вот Гуглом конструкция <noindex></noindex> не поддерживается.
<a href="" rel="NOFOLLOW"> Яндексом не обрабатывается (эта конструкция, прежде всего для Google). А в данном случае именно боты Яндекс наиболее активные.
Кроме того, я ведь написал в первом посте о правильной обработке If-Modified-Since. Это может быть хорошим решением Вашего вопроса.
Внутренние страницы возвращают HTTP/1.1 404 Not Found, что означает: страница не найдена. Думаю, что в этом и заключается проблема.
Решение: спросить у программиста, знает ли он, что такое заголовки… проблема не в хостинге а в программисте или в непонимании им азов работы сайтов.
Обязательно исправить ответ сервера для существующих страниц на HTTP/1.1 200 OK
