http://validator.w3.org/checklink
1. Скачиваете лого
2. Распечатываете его
3. Вешаете на стену
4. Берете дротики от Дартс и всем офисом метаете
5. Кто попал?
Если серьезно, выбираете наиболее подходяшую категорию, затем находите в верхнем баре ссылку suggest URL и переходите по ней.
Это в теории. На практике, после выполнения этих действий, Вы попадете на страницу Service Temporarily Unavailable. У них сейчас некоторые технические трудности. Так что есть время подумать (оно Вам надо?) и гайки сайту покрутить.
1. Древний (реально древний) браузер Ариадна. Ctrl+L показывает заголовки
2. http://webcode.ru/use/header/ онлайн
3. http://netpromoter.ru/pagepromoterbar/index.htm Плагин для IE и FF
Что имеется в виду под Вашим комментарием?
Почему не периндексирует? Так "торопиться не надо" (с). За полторы недели не получится, с месяц подождите (для Гугля и Яндекса), а лучше - два (для Яхи например).
По ходу дела запросами site:ВашПрекрасныйИПолезныйСайт.com уточнете на каком Вы небе.
Естественно смотирите логи перед этим - заходит ли к Вам робот, какие документы сканирует etc
sitemap не вредно Гуглю предложить
Старые страницы в robots.txt можно поробовать позакырвать
В общем есть над чем поработать - и над сайтом, и над собой
Или еще проще. Если Ваш провайдер разрешает Вам SSI, то наверняка позволит написать в Вашем .htaccess дополнительную строчку
server-parsed .html
И фсе. Можете колдовать с SSI в обычных хтмл файлах
фигасе... т.е понятно, что роботам они вот это дают http://www.webmasterworld.com/robots2
K. Ermakov, а зачем такая хитромудрость? Я имею в виду не сами манипуляции с robots.txt а именно то что они с ним сделали - какая то группа новостей прямо
вот еще при Гулг http://www.google.com/intl/ru/help/features.html
Валидатор Консорциума нормально к русскому относится. Вот пример http://validator.w3.org/check?uri=http%3A%2F%2Fwww.searchengines.ru%2F&charset=%28detect+automatically%29&doctype=Inline&ss=1
ХренРедькиНеСлаще, а если вебмастер в пуристы решил податься и уменьшить тошнотные ссылки на сайт? Есть смысл в таком?
Юнеско подходит?
http://www.unesco.org/cgi-bin/webworld/portal_freesoftware/cgi/page.cgi?g=Software%2FDevelopment_Tools%2FWeb_Development%2Findex.shtml;d=1