- На вотку - не подаю! ;)
Margo и BDJoker дал ссылки, курить их до просвятления.
А 10% запаса прочности? На фсякей... ;)
С учетом последней катаклизмы, робот запрашивает страницы, по которым еще в октябре получил 404, возможен вариант: - Платон "смотрит" не сам сайт, а "сохраненную копию" неизвестно какой давности...
Имхо, безусловно.
... что с успехом сделано.;) Несколько лет назад, как первый раз выкинул фортель, так сразу.
Где-то по форуму пробегал ответ Платона с точной цифрой.
(Может Кашарин в коллекцию положил?)
На вскидку - 1000 слопает Яндекс...
А что означает параметр Last-Modified по RFC?
Вот от этого и стоит оттолкиваться, а не фантазий на вольную тему.;)
Сосет, робот, насосом без остановки. Что для меня - наблюдаемый факт.
С логической... Какие выводы сделает нормальный человек, если меняется Last-Modified, а контент - нет?
Забанить - это скорее нет. А вот понизить "приоритет" обхода сайта - это было бы логично...
Это - не проблема. Это - следствие... От Вашего, извините, незнания. В часности - как настроить WEB-сервер ...
Без обидок.;)
дайте наводку хоть на какой нить документ...
- На вотку - не подаю! ;)
Margo и BDJoker дал ссылки, курить их до просвятления.
Спасибо за ключевики для поиска - предел 1100 штук.
А 10% запаса прочности? На фсякей... ;)
С учетом последней катаклизмы, робот запрашивает страницы, по которым еще в октябре получил 404, возможен вариант: - Платон "смотрит" не сам сайт, а "сохраненную копию" неизвестно какой давности...
Имхо, безусловно.
... и "что рано или поздно придется прибить дурачка" за такие проделки?
... что с успехом сделано.;) Несколько лет назад, как первый раз выкинул фортель, так сразу.
Сколько ссылок можно положить на одну страницы карты? Все 4К съест? Или как Гугл - только первые 100?
Где-то по форуму пробегал ответ Платона с точной цифрой.
(Может Кашарин в коллекцию положил?)
На вскидку - 1000 слопает Яндекс...
А как было-бы логично прописать данный параметр (Last-Modified) или не писать вообще?
А что означает параметр Last-Modified по RFC?
Вот от этого и стоит оттолкиваться, а не фантазий на вольную тему.;)
В последнее время робот ходит очень не стабилько, как раз последние 2 недели, не парьтесь.
Сосет, робот, насосом без остановки. Что для меня - наблюдаемый факт.
С какой стати?
С логической... Какие выводы сделает нормальный человек, если меняется Last-Modified, а контент - нет?
Забанить - это скорее нет. А вот понизить "приоритет" обхода сайта - это было бы логично...
Ну, собственно проблема только с Яндексом...
Это - не проблема. Это - следствие... От Вашего, извините, незнания. В часности - как настроить WEB-сервер ...
Без обидок.;)