Как узнать, заходил ли робот на сайт?

да нет :) ничего секретного. http://www.2mm.ru

практически все страницы по ссылкам - не существуют физически, а генерятся на лету (пхп+мускул) ну и использую чпу...короче, почему яндекс их игнорирует - не понятно. Другие поисковики все проиндексировали...

Как хоть проверить, что именно не так и почему?

ну чего, народ? Никто ничего не может посоветовать? :(((

Весна, http://www.2mm.ru/robots.txt - выдает код 200 и непотребное содержание. Яндекс может обидеться.

а что должна выдавать эта ссылка?

"непотребное" содержание я исправила...но может надо создать файл robots.txt? Только что в нем писать? Обычно в нем прописывают то, что не требуется индексировать..у меня нет такого. пусть все индексирует!

Пустой и создайте.

но тогда ссылка вообще ничего не будет выдавать. пустое белое поле браузера. Яндекс в этом случае будет доволен?

Весна, во-первых, есть стандарты на robots.txt.

А во-вторых, у вас на любой! URL выдается код 200. Это тоже ошибка:

GET /abracadabra.html HTTP/1.1

Host: www.2mm.ru

Connection: close

Accept: */*

HTTP/1.0 200 OK

что дальше, уже не важно.

а почему это ошибка?

ну да, я использую модрерайт, который если не находит файла такого (абракадабра.html) отсылает на определенную страницу...Чем это плохо для яндекса?

Kost, а не могли бы вы посмотреть то же самое для сайта http://aprel.pp.ru

вот тоже абракадабру приписать и посмотреть что выдаст? А то я не очень понимаю, где вы это смотрите..заголовки эти. А этот сайт тоже сделан с использованием модрерайт.