Альтернативный анализ robots.txt

Приветствую Вас гуру оптимизации. Я новый как на этом сайте, так и с сфере оптимизации.

Мой сайт существует уже около года. PR=2 ТИЦ=10.

Совсем недавно меня стало беспокоить то, что форум постоянно наполняется информацией, а приток пользователей с поисковых систем не увеличивается. Причем в статистике живогоинета я увидил что траф с поисковиков приходит исключительно от keywords.

Затем решил углубиться в инструментарии для вебмастеров гугла и яши.

По данным мне от Вас советам, я убрал множество ссылкок со своего сайта.

Вот что я заметил странного. В инструментах веб-мастера яндекса я увидил 276 проиндексированных страниц. Ссылки на них я как раз и запретил в файле robots.txt. Так вот число проиндексированных страниц (276) равно числу внутренних ссылок. Причем все ссылки абсолютно идентичны. Но ни одной нужной ссылки, таких как разделы и топики найдено роботом небыло.

Нужные мне ссылки (?showforum= и ?showtopic=) имеют статус Ресурс перемещён навсегда (301). Необходимые для индексации ссылки я проверил в разделе "Анализ Robots.txt", все они должны быть доступны роботу.

Вопрос №1: Будут ли проиндексированы страницы (?showforum= и ?showtopic=) занесенные в статус (301)?

Вопрос №2: Очень для себя удобным решением настройки файла robots.txt представляю следующим: отсканировать весь сайт на получение только ссылок. Затем проверять все ссылки в вышесказанных инструментах гугла и яши, так как эти сервисы представляют проверку на доступность ПС не только одной ссылки но и нескольких. Но вот найти этот сканер ссылок я нигде не смог. Есть на mainlinkе свой сканер ссылок, но экспорта ссылок в нем нет. просто очень хочется идеально настроить robots.txt, т.к. чего нибудь да и забудешь указать. Или решение ситуации может быть совершенно другим?