404 - размер страницы

123
Vladimir
На сайте с 07.06.2004
Offline
586
#11
softerra #:
"GET /wp-login.php HTTP/1.0" 404

На такие запросы можно отдавать 403.
А 403 настроить редирект на PornHub )) Лучше на яндекс, пусть подавиться своими ботами

Mik Foxi #:

Мой идеал - это отдельный статичный файл (не часть движка), код ответа сервера 404, содержащий:

Оптимально, больше и не надо

Аэройога ( https://vk.com/aeroyogadom ) Йога в гамаках ( https://vk.com/aero_yoga ) Аэройога обучение ( https://aeroyoga.ru ) и просто фото ( https://weandworld.com )
softerra
На сайте с 02.10.2023
Offline
96
#12
Mik Foxi #:

Мой идеал - это отдельный статичный файл (не часть движка), код ответа сервера 404, содержащий:

Поставил твой код, чистый HTML в движковую страницу. Объем убавился в 122 раза, пусть боты отощают. Не могу налюбоваться. Спасибо.



softerra
На сайте с 02.10.2023
Offline
96
#13
Ошибка, удалите плз
Ruschan
На сайте с 23.06.2011
Offline
118
#14
softerra :
У меня, как и у многих скан боты идут и некоторые перебирают несуществующие адреса.
Получают ответ 404 + примерно 90 кб ответа с сервера по каждому запросу.
Удалил футер - страница 404 стала в 2 раза меньше.
Может и хедер удалю, оставлю минимум.
Человек перейдет по ссылке на сайт если ошибется.
Может можно с 404 их куда подальше заслать.
404 не напрягает, просто по настроению захотелось попробовать варианты.

Как вариант, реализовать тег "canonical" и ответ сервера через обычный скрипт php по логике: - если "обращение идет не по каноникалу в рамках CMS, то выдача  404". 
Ситемап - при этом делаете на реальные страницы, которые есть.
Но, правда, при такой реализации придется за структурой сайта - смотреть, в зависимости от CMS и реализации новых подразделов в CMS.

На 404 страницу вешаете обычную картинку, возможно и текст. 

https://www.gkgefestconsult.ru/ekspertnye-stati/ - статьи о консалтинге в сфере строительного, проектного и изыскательного бизнеса (ГК Гефест Консалт).
Михаил
На сайте с 02.03.2007
Offline
183
#15

Мои пять копеек.

404-я бывает разная: одно дело, если в ссылки на сайте случайно вкралась ошибка – здесь 404-я будет создана для живого посетителя и на мой взгляд, должна отображаться в стандартном интерфейсе сайта, чтобы гость не гадал «ой, куда это я попал?!» – он должен понимать, что по-прежнему находится всё на том же сайте, который просто не нашёл нужную страницу и предлагает тот же функционал (на главную, в контакты, в Телеграм и пр.), что на всех остальных страницах.

Другое дело, когда бот-сканер запрашивает что-то типа site://drop_server.php или site://crack_wordpress_engine.php – здесь заведомо нет смысла тратить ресурсы на формирование хэдера, футера, цепочку редиректов, проверок и преобразований.

По счастью, сканеры чаще всего запрашивают хотя и довольно обширный, но всё же ограниченный список несуществующих элементов, который можно предусмотреть для выдачи ботам не стандартной 404-й, а короткой HTML-фразы «ok, site is down, good bye!» – «порядочные» боты вряд ли будут сканировать сайт на предмет технических компонентов, этим грешат в основном «вольные стрелки», на которых, повторюсь, нет нужды тратить ресурсы.

Ну и ряд других ситуаций, когда гость – заведомо непрошеный бот, это разбиралось здесь уже много раз. В особых случаях для особо непрошеных гостей, конечно, можно, конечно, извратиться и организовать циклический редирект, либо повесить на вывод ожидание секунд на тридцать, либо капчу из шестнадцати цифр (чисто для прикола) – но тут палка о двух концах, лишние игры на сервере могут обернуться боком.

Вот видишь, Алиса, что нужно бежать со всех ног, чтобы оставаться на месте! А чтобы куда-нибудь добраться – нужно бежать вдвое быстрее!
softerra
На сайте с 02.10.2023
Offline
96
#16

Михаил #:

Другое дело, когда бот-сканер запрашивает что-то типа site://drop_server.php или site://crack_wordpress_engine.php – здесь заведомо нет смысла тратить ресурсы на формирование хэдера, футера, цепочку редиректов, проверок и преобразований.

Именно для них поставил облегченную 404. Людям на нее попасть шансов мало, если и попадет один, другой - легко выйдут. В общем вопрос закрыт так, как мне хотелось.


M3
На сайте с 09.02.2022
Offline
83
#17
с каких пор 90 кб стало много для страницы?)
на сайте наверняка есть картинки по 400кб)
не в ту сторону экономите ребята)
Михаил
На сайте с 02.03.2007
Offline
183
#18
master32 #:
с каких пор 90 кб стало много для страницы?)
на сайте наверняка есть картинки по 400кб)
не в ту сторону экономите ребята)

Фраза (для ботов) «welcome to the outworld, sir!» без HTML-кода (обойдутся, чести много) занимает 29 байт. Это в 3072 раза меньше, чем 90 Кб. При многократном (по три-четыре раза в секунду на протяжении пятнадцати минут) запросе одной и той же страницы – экономия может оказаться куда более существенной, чем может показаться на первый взгляд.

M3
На сайте с 09.02.2022
Offline
83
#19
Михаил #:

Фраза (для ботов) «welcome to the outworld, sir!» без HTML-кода (обойдутся, чести много) занимает 29 байт. Это в 3072 раза меньше, чем 90 Кб. При многократном (по три-четыре раза в секунду на протяжении пятнадцати минут) запросе одной и той же страницы – экономия может оказаться куда более существенной, чем может показаться на первый взгляд.

а зачем ботам что-то показывать? зачем на них реагировать? может сразу ему 444 код в ответ?

Михаил
На сайте с 02.03.2007
Offline
183
#20
master32 #:

а зачем ботам что-то показывать? зачем на них реагировать? может сразу ему 444 код в ответ?

Это больше из области разработки – скорее для себя, чем для ботов, особенно при отладке: пустая страница при включенном подавлении сообщений об ошибках может означать как успешное завершение, так и критическую ошибку, а возврат предусмотренной фразы – гарантированное отсутствие таких ошибок (т. к. вывод фразы размещён в операторе безусловного прерывания, после которого далее уже ничего выполняться точно не будет). При отладке видишь фразу – и уже точно знаешь, что гость получит ровно 29 байт (или сколько там символов во фразе) и ни байтом больше. Ну и плюсом – косвенная регистрация возврата фразы в логах (скажем, если видишь там возврат кому-то 29 байт – тут же становится понятно, на какую из веточек напоролся непрошеный гость).

123

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий