Просканируй свой сайт на битые ссылки, избыточные редиректы и не https ссылки.

Проверенные / Найденные (находит <a>, <img>, <iframe>, <link>, <javascript src>)

В закомментированом коде не должен искать, если находит тогда скиньте пример и я исправлю

Url с хэшами нормально обрабатывает?

У меня несколько записей в блоке медленных страниц типа:

http://site.com/path/#comment-1
http://site.com/path/#comment-2
http://site.com/path/#comment-3
http://site.com/path/#comment-4
http://site.com/path/#comment-5

И у всех разное время загрузки, т.е. как-будто один url с разными хешами несколько раз пересканивается (и, возможно, ещё и отъедает лимит в 2000 url)

Скоро залью обновления и там не должно быть проблемы с хешами, но скорость загрузки не зависит от хеша, скорее всего у вас иногда подгружается без кеша или сервер слабый, ну или страница тяжелая:)

например: 

первый заход без кеша 10 секунд

второй заход уже с кешем и 0.5 сек скажем

3-тий заход спустя пару минут и уже кеша нет тогда будет снова х секунд если страница тяжелая

По кешу понятно, жду фикса хеша))

Хорошо, а список просканенных адресов можно выводить?

скорей всего вашего канала не хватает на всех... тоже показывает медленные страницы по 6-8с, померил pingdom - в районе 1с🤔

Робот много ломится по закрытым в robots.txt ссылкам и файлам. Не уверен, что это всегда нужно.

Не понимает ссылки вроде <a href="?param=1">11111</a> - ищет их в корне сайта, а не на странице.

Зачем-то анализирует .mp3 файлы. Добавляет в Slow pages.

Внешние ссылки с  http:// можно и не учитывать, так как это не ошибка.

Может быть и изза того, что мои сервера в Европе а ваши в России или Америке и т.д, со временем когда будет больше клиентов, начну поднимать сервера в других странах

robots.txt - еще не анализирую, в следующих версиях начну.

href="?param=1" - исправил.

.mp3 файлы - исправил, теперь только на html страницы.

Внешние ссылки с  http:// больше не учитываю - теперь только все что связано с "Mixed content" и ссылки самого сайта.

хеш: пофикшен

список просканенных адресов будет в версии когда сделаю личный кабинет