Если это так, то от куда 100500 непроиндексированных страниц?
А делается это с помощью настройки сервера, который должен отдавать поисковым ботам спец заголовок (Last-Modified), если у страницы не было обновлений с момента прошлого посещения ботом.
Если страница не обновлялась, то сервер должен ответить заголовком: 304 Not Modified.
Почти никто не делает.
Нечего там экономить, не миллионы страниц )
Мало, того, что не понимают о чем речь, но и , как всегда, в ответ - это не поможет.😂Нет проблем с индесацией ПС, с трафиком иди без, В ТОП или за сотню в выдаче.
Можно любой хедер подставлять, даже Чебурашку ..
Чебурашка - новый поисковик?
Это как?
И на гитхабе можно найти инструмент для отправки страниц собственного сайта на индекс.
Но поисковики (чаще всего яндекс судя по логам) пытается обратиться как сайт.рф/текст/текст/index.php что приводит к 404 ошибке
Как поисковикам запретить обращаться по такому пути?
Это не приводит к какой-то ошибке. Это название ответа - 404 ErrorИ это как раз тот ответ ( 404) который и должен отдавать сайт на несуществующие страницы
рекламу под персональные метрики - это я могу понять. а зачем каждому выдавать персональную поисковую выдачу - вообще понять не могу.
