По кешу понятно, жду фикса хеша))
Хорошо, а список просканенных адресов можно выводить?
хеш: пофикшен
список просканенных адресов будет в версии когда сделаю личный кабинет
Робот много ломится по закрытым в robots.txt ссылкам и файлам. Не уверен, что это всегда нужно.
Не понимает ссылки вроде <a href="?param=1">11111</a> - ищет их в корне сайта, а не на странице.
Зачем-то анализирует .mp3 файлы. Добавляет в Slow pages.
Внешние ссылки с http:// можно и не учитывать, так как это не ошибка.
robots.txt - еще не анализирую, в следующих версиях начну.
href="?param=1" - исправил.
.mp3 файлы - исправил, теперь только на html страницы.
Внешние ссылки с http:// больше не учитываю - теперь только все что связано с "Mixed content" и ссылки самого сайта.
Может быть и изза того, что мои сервера в Европе а ваши в России или Америке и т.д, со временем когда будет больше клиентов, начну поднимать сервера в других странах
Url с хэшами нормально обрабатывает?
У меня несколько записей в блоке медленных страниц типа:
http://site.com/path/#comment-1http://site.com/path/#comment-2 http://site.com/path/#comment-3 http://site.com/path/#comment-4 http://site.com/path/#comment-5
И у всех разное время загрузки, т.е. как-будто один url с разными хешами несколько раз пересканивается (и, возможно, ещё и отъедает лимит в 2000 url)
Скоро залью обновления и там не должно быть проблемы с хешами, но скорость загрузки не зависит от хеша, скорее всего у вас иногда подгружается без кеша или сервер слабый, ну или страница тяжелая:)
например:
первый заход без кеша 10 секунд
второй заход уже с кешем и 0.5 сек скажем
3-тий заход спустя пару минут и уже кеша нет тогда будет снова х секунд если страница тяжелая
Это счетчик обойденных страниц или в принципе урлов любых видов? И кстати закомментированные в коде ссылки тоже пока проверяет как полноценные?
Проверенные / Найденные (находит <a>, <img>, <iframe>, <link>, <javascript src>)
В закомментированом коде не должен искать, если находит тогда скиньте пример и я исправлю
Это сделано для того, чтобы можно было смотреть проверку в течении дня не сканируя заново и ожидая результата, постараюсь сегодня добавить кнопку для пересканирования
Спасибо!, добавляю еще 11 добавочных проверок и после займусь личным кабинетом и там можно будет больше чем 2к страниц:)
Ждем на 100к страниц))
Не уверен, что осилю финансово на бесплатной основе по 100к страниц:), будет минимальная плата за ресурсы или возможность использования своих серверов под сканер.
Спасибо, записал, будет добавлено.
