Как Гугель (GWT) меряет время загрузки "страницы" - вы таки не поверите :)

A
На сайте с 08.05.2008
Offline
49
1034

Уж не знаю, может и дратый боян, тогда не взыщите, но ещё нигде не видел.

Картинко времени загрузки "страницы" с одного из подопечных сайтов для затравки:

Теперь рассказываю, что было:

(***тут было многабуков, всё равно никому не интересно***)

/robots.txt.

Сайт работает на CMS NetCat и контент по URI /robots.txt отдаётся самой CMS (что позволяет одному экземпляру CMS обслуживать несколько независимых сайтов). Сервер настроен на Nginx + php5-fpm.

И вот оказалось, что эта система (самая свежая лицуха) имеет в числе багов (тыщи их там!) и такой занятный баг, как если включено GZip сжатие контента, то /robots.txt отдаётся почему-то 4-5 секунд, хотя всё остальное работает без проблем. (На официально одобренном православном Apache не проверял, ибо задолбало уже слать неткатовцам подробные багрепы - придётся тогда всё бросать и только допилом их косяков заниматься)

Если посмотреть на график, то рост времени отклика до 4-5 секунд во второй декаде января как-раз приходится на момент, когда я включил это сжатие.

Где-то неделю назад я обнаружил этот баг и сделал отдачу robots.txt файлом. И вот результат - падение времени отклика до декабрьских значений, когда роботсы отдавались так же файлом (была другая CMS).

Такие дела.

Никогда бы не подумал, что GWT называет временем загрузки страницы время загрузки /robots.txt (или, по крайней мере вклад этого времени решающий).

Vin_cent
На сайте с 22.01.2010
Offline
171
#1

Если кратко - глупости написал.

Скорость загрузи сайта смотри тут: http://www.webpagetest.org/, http://tools.pingdom.com/ и тут https://developers.google.com/pagespeed/

A
На сайте с 08.05.2008
Offline
49
#2

Если кратко - обоснуй.

Те сервисы на которые ты дал ссылки меряют полное время загрузки страницы, то есть время

1. соединения с сервером

2. чтения ответа

3. подтягивания всех связанных стилей, картинок, скриптов, шрифтов и прочего

4. рендеринга страницы

Т.е. то, что составляет время загрузки страницы для юзера. Примерно это же время выдаёт Гугль Аналитикс в отчёте "время загрузки страницы"

А GWT меряет иначе. Ссылок не дам, может быть и ошибаюсь, но он вроде как работает от данных индексатора, которого интересуют в основном только первые два пункта. Поэтому все эти перечисленные сервисы не релевантны теме.

Возможно, я ошибаюсь и такая внезапная связь двух фактов - только лишь совпадение. Я не проверял второй раз, но проверить-то легко. Есть желающие потестить независимо?

NU
На сайте с 19.02.2010
Offline
55
#3
лицуха) имеет в числе багов (тыщи их там!) и такой занятный баг, как если включено GZip сжатие контента, то /robots.txt отдаётся почему-то 4-5 секунд, хотя всё остальное работает без проблем

Бред полнейший - CMS твоя такая, а не лицуха.

A
На сайте с 08.05.2008
Offline
49
#4
NewUser2010:
Бред полнейший - CMS твоя такая, а не лицуха.

Что именно бред?

---------- Добавлено 25.02.2012 в 20:49 ----------

PS: ну, то бишь, какая гипотеза лично у меня вырисовывается (а то, похоже, некоторые либо читают не всё, либо не понимают, либо и то и другое) - видимо GWT берёт за время загрузки страницы max(по всем наблюдаемым временам за сутки) или что-то подобное. Был тормозной роботс - он потянул всё наверх. Будет тормозная другая страница, даже одна - потянет она.

Странно, что в этом участвует роботс, который никому, кроме ПС не нужен, но факт.

Если кто-нить захочет проверить - отпишитесь, плс.

Vladimir
На сайте с 07.06.2004
Offline
614
#5
Arech:
Что именно бред?


Все! Гугл измеряет время загрузки страницы по тулбару посетителей вашего сайта
Аэройога ( https://vk.com/aeroyogadom ) Йога в гамаках ( https://vk.com/aero_yoga ) Аэройога обучение ( https://aeroyoga.ru ) и просто фото ( https://weandworld.com )
unlimbox
На сайте с 03.01.2008
Offline
56
#6

Ну, если Вы считаете, что дело в gzip-сжатии, то отключите его в Вашей CMS и включите gzip в nginx.

JamBlog.ru (http://jamblog.ru)
A
На сайте с 08.05.2008
Offline
49
#7
Nadejda:
Arech:
Что именно бред?


Все! Гугл измеряет время загрузки страницы по тулбару посетителей вашего сайта


1. Пруф линк на официальное подтверждение этому у вас есть? А то по некоторым слухам ещё фаза луны учитывается, но я что-то тоже сомневаюсь.

2. Вот сегодняшняя картинка.

Ещё раз: тормоза очень точно коррелируют со всем временем, когда robots.txt отдавался с задержкой. Как задержка была снята (или её не было) - время нормализуется. Никакие гугловские тулбары роботсы не запрашивают - проверьте хотя бы по логам, сколько у вас пользователей и сколько запросов роботсов и от кого.

Корреляция не есть причинность - да, поэтому нужна ещё проверка. Я не делал, т.к. думал, что об этом уже многие знают. Ну, ок. Я сделаю контрольный эксперимент и как будут результаты - отпишусь.

unlimbox:
Ну, если Вы считаете, что дело в gzip-сжатии, то отключите его в Вашей CMS и включите gzip в nginx.

Похоже, чукча не читатель, чукча писатель, да? :)
богоносец
На сайте с 30.01.2007
Offline
774
#8
Arech:
Я сделаю контрольный эксперимент и как будут результаты - отпишусь.

Это не сможет пошатнуть религиозных убеждений.

A
На сайте с 08.05.2008
Offline
49
#9
богоносец:
Это не сможет пошатнуть религиозных убеждений.

😂

Мне просто самому интересно (так что могу не публиковать результаты), а что в интернете кто-то не прав - это же их проблемы :)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий