Есть какой-нибудь способ определить, когда была опубликована страница?

Пытаюсь понять алгоритм хождения ботов и т.к. у меня своих сайтов мягко говоря кот наплакал, пытаюсь сделать это по чужим.

Т.е. я отлавливаю момент когда на исследуемом сайте появляется новая страница и смотрю когда она появится в индексах Гоши и Яши. Однако мне сильно не хватает данных о том, когда исследуемая страница была опубликована.

Я заметил, что Гугл иногда показывает в результатах поиска некую дату (не всегда). Но я так понял, что это происходит только когда на странице эта инфа присутствует в виде микроразметки.

Пытался также найти какую-либо инфу на странице (поиск в коде страницы date) - не всегда получается. Может у поисковиков есть еще какие-то полезные для сабжа инструменты?

PS. Если у кто-то может объяснить новичку принцип по которому пауки яндекса и гугл заходят на сайт и какие страницы при этом сканирует - было бы здорово. Или может быть ссылку на хорошее и свежее чтиво по этой теме дадите?