гугл недавно и написал и даже СКАЗАЛ - что бы вебмастера и не парились и не тратили свое время зря. Смысла нет. Хотя.... хотя.. в любом случае и без этого если твой контент НОРМ, тебя подхватять ИИшки
Пы.Сы.. Тут https://desing.com.ua/llms-txt-seo/ об этом есть инфа и ссылки на первоисточник Джона Мюллера (гугловца)
По структуре. Главная до принятия была лентой (как блог), О сайте, страничка про автора, Контакты, подписка и все вроде. Ну и контент конечно - контент полностью ИИшный.. но создан по моей личной методике, обходя все АИ-детекторы, с "километровыми" промтами и так далее, опыт 3 года (: - в общем, по началу шли в отказную. Статьи публиковались не агресивно-часто. в неделю по 2-3 Лонгрида (1500 слов на статью). В общем-то и всё. p.s. Кук кстати не было :)
а гугл дискавер?