Откуда Яндекс узнал о появлении на сайте страницы (даже не страницы, а адреса скрипта)?

Если пользуетесь Cloudflare, то включение опции Crawler Hints может привести к чему-то подобному.

А через пару лет вдруг выяснилось, что самопис собирал в папках php-файлы и отправлял их в sitemap.xml 😁

Соглашусь. Любая штука может стучать. Может в браузере поиск стоит (меня Яша умудряется в супернезависимом Фаерфокс без плагинов при первом заходе спросить - а не хотите поставить поиск наш? а браузер? я в шоке), а, может, ТС что-то поставил, что стучит. Необязательно прям очевидную яндексовскую приблуду, но многие недопрограммы (полезные!) технично стучат.

Ну а про смартфон, где стоят Яндекс Карты, я вообще молчу)

Перепись верующих в теорию заговора браузеров продолжается. Продолжайте, товарищи.

Собственно, вот так:

Это я от балды набираю адрес 

XXX.XXX.XXX.XXX - - [18/Feb/2023:00:36:54 +0300] "GET /testtesttest HTTP/1.0" 404 2344 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36 OPR/95.0.0.0"

и что мы видим через через 27 секунд:

95.108.213.197 - - [18/Feb/2023:00:37:21 +0300] "GET /testtesttest HTTP/1.0" 404 2081 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"

а потом ещё через 8 минут

5.255.231.16 - - [18/Feb/2023:00:45:52 +0300] "GET /testtesttest HTTP/1.0" 404 2081 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"

Собственно, вот такая вот теория заговора, да...

P.S. И в догонку: запускаем другой браузер - Chrome, по умолчанию в нём настроена поисковая система Google. Пишем от балды другие адреса страниц и через 3 минуты к нам приходит... интрига, однако:

5.255.231.16 - - [18/Feb/2023:01:38:33 +0300] "GET /tsttsttst HTTP/1.0" 404 2082 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"

Получается, что моя теория относительно того, что яндекс узнаёт о новом адресе из-за поисковых подсказок в процессе ввода адреса при настроенной поисковой системе Яндекс - ошибочна. Видимо, что Опера, что Хром моментально стучат Яндексу о том, куда обратился пользователь, и Яндекс в течение буквально секунд (максимум минут) засылает туда робота.

Shelton724 а днсы вы какие используете на компе и в роутере? Не яшкины ли?

Скорость реагирования ботов может зависить от многих параметров. Возможно ваш сайт имеет высокий рейтинг, поэтому реакция через 27 секунд. И этим надо пользоваться.

У garryvodka есть предположение, что провайдер может отправлять данные. Это можно проверить.

Для эксперимента, попробуйте добавить в файл hosts следующие строки:

127.0.0.1 mc.yandex.ru
127.0.0.1 yandex.ru
127.0.0.1 yastatic.net
127.0.0.1 ya.ru

Это позволит исключить отправки данных Яндексу, любыми программами установленными на компьютере. После, повторите эксперимент.

Результат:

Кто_виноват = (в логах сервера появился запрос от бота) ? виноват_провайдер : виновата_какая_то_программа_на_компьютере ;