использование Gzip весьма сомнительно :-)
в какие разделы сайта не ходит гугл?
возможно ссылки вида /index.pl?page=main&lang=en&item=5...
а вообще даже сам гугл пишет что проверить как осуществляется переход на страницы сайта можно с использованием браузера типа lynx
Если сайт самописный то проще дописать код для того чтоб генерилась карта сайта автоматически без дополнительного софта и извращения :-)
