Как узнать, заходил ли робот на сайт?

Как узнать, заходил ли робот на сайт? Прошу прощения за такой глупый вопрос, я просто новичок во всем этом, а на форуме не нашла ответа. Видимо это для всех очевидно настолько, что об этом не говорят :)

Я так понимаю, надо логи смотреть..я смотрю, но как по ним определить что робот яндекса заходил или рамблера или кто-то еще..

Объясните пожалуйста по-подробнее.

Все дело в том, что яндекс уже несколько месяцев не индексирует сайт. Я не могу понять в чем дело. Другие поисковики уже давно все проиндексировали - яндекс нет. Обычный сайт издательства...контент - статьи. никакого спама..да вообще ничего криминального..я и не знаю ничего такого ибо оптимизацией раньше не занималась..