- На вотку - не подаю! ;)
Margo и BDJoker дал ссылки, курить их до просвятления.
А 10% запаса прочности? На фсякей... ;)
С учетом последней катаклизмы, робот запрашивает страницы, по которым еще в октябре получил 404, возможен вариант: - Платон "смотрит" не сам сайт, а "сохраненную копию" неизвестно какой давности...
Имхо, безусловно.
... что с успехом сделано.;) Несколько лет назад, как первый раз выкинул фортель, так сразу.
Где-то по форуму пробегал ответ Платона с точной цифрой.
(Может Кашарин в коллекцию положил?)
На вскидку - 1000 слопает Яндекс...
А что означает параметр Last-Modified по RFC?
Вот от этого и стоит оттолкиваться, а не фантазий на вольную тему.;)
Сосет, робот, насосом без остановки. Что для меня - наблюдаемый факт.
С логической... Какие выводы сделает нормальный человек, если меняется Last-Modified, а контент - нет?
Забанить - это скорее нет. А вот понизить "приоритет" обхода сайта - это было бы логично...
Это - не проблема. Это - следствие... От Вашего, извините, незнания. В часности - как настроить WEB-сервер ...
Без обидок.;)
