Есть такая утилита AWStats написана она с использованием perl. Так вот в этой утилите есть файл search_engines.pm, а внем прописано очень большое количество поисковых роботов.
Я тоже искал генератор на PHP файлов sitemap. Очень понравился phpSitemapNG. Умеет сканировать как директории, так и опрашивать сам сервер, но, есть ложка дегтя, слабый фильтр исключений.
Хочу спросить у уважаемого OrangE, что значит "простые сайты"?
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/html4/strict.dtd"> <html style="height:100%"> <head> <meta http-equiv="Content-Type" content="text/html; charset=windows-1251"> <title></title> </head> <body style="margin:0; height:100%"> <table style="height: 100%; width: 100%" cellspacing="0" cellpadding="0" border="0"> <tr> <td style="vertical-align:middle"> <h1>TEXT</h1> </td> </tr> </table> </body> </html>
Я пользуюсь AWstats. Программа написана на perl. Может работать как CGI. Легко настраивается.Пока мне очень нравится.
На мой взгляд читать много текста такого цвета на таком фоне не очень удобно. Но это мое мнение.
Я использовал стандартную от Google. Правда мне не нравится, что нет возможности не только сканировать директории, но "серфить" сам сайт.
Есть еще одна интересная программа phpSitemapNG написаная на PHP, умеет сканировать как и директории, так и "серфить" сайт. Но к сожелению слабая система фильтров.
Интересно, а какая глубина просмотра поисковых систем? В частности Google.ru
