В новой версии SiteAnalyzer появилась возможность использования виртуального robots.txt

Вышла новая версия SiteAnalyzer, в которой добавлены возможности указания произвольных HTTP-заголовков и использования виртуального robots.txt.

Указание произвольных HTTP-заголовков позволит анализировать реакцию сайта и страниц на разные запросы.

Например, кому-то может понадобиться отдавать в запросе Referer, владельцам мультиязычных сайтов захочется передавать Accept-Language|Charset|Encoding, а у кого-то есть потребность в передаче необычных данных в заголовках Accept-Encoding, Cache-Control, Pragma и т.п.


Использование виртуального robots.txt вместо реального, размещенного на сайте, пригодится при тестировании сайта, когда, например, нужно просканировать определенные разделы сайта, закрытые от индексации (либо наоборот – не учитывать их при сканировании), при этом не нужно физически вносить изменения в реальный robots.txt и тратить на это время разработчика.

Виртуальный Robots.txt хранится в настройках программы и является общим для всех проектов.


Также на вкладке проверки уникальности контента добавлено окно отображения списка страниц, наиболее близких по уникальности к выбранному URL:


Еще в новой версии SiteAnalyzer 2.6:

  • добавлена возможность отмены процедуры тестирования работоспособности списка прокси в любой момент во время теста
  • пересканирование произвольных URL проекта теперь происходит в несколько потоков, исходя из настроек программы
  • в раздел настроек Яндекс XML добавлен сервис SERPRiver для проверки индексации страниц в Яндексе
  • восстановлена работа функции Custom Search, предназначенной для поиска контента на сайте
  • в списке проектов добавлено отображение даты последнего сканирования проекта
  • добавлена возможность перетаскивания по папкам нескольких проектов мышью, а также используя контекстное меню
  • добавлены дополнительные кнопки для проверки Google PageSpeed и уникальности контента на соответствующих вкладках
  • добавлена возможность открытия в браузере файла robots.txt для интересующего сайта
  • добавлена возможность открытия выбранного URL на сайте web.Archive.org
  • добавлена колонка «Источник» на вкладке «Изображения»
  • оптимизирован учет правил исключенных URL при сканировании сайтов
  • добавлено использование регулярных выражений RegEx
  • ускорено удаление URL в проектах

 Напомним, в предыдущей версии SiteAnalyzer, представленной в июле, были реализованы проверка уникальности контента, скрейпинг данных (извлечение данных с сайта) и проверка скорости загрузки страниц по Google PageSpeed. 

preview Google нужны месяцы, чтобы оценить качество и релевантность сайта

Google нужны месяцы, чтобы оценить качество и релевантность сайта

И понять, где его лучше ранжировать
preview SEO-специалисты фиксируют сильные изменения в выдаче Яндекса

SEO-специалисты фиксируют сильные изменения в выдаче Яндекса

С чем связан текущий апдейт
preview Более 60 тысяч сайтов с Cloudflare включили IndexNow

Более 60 тысяч сайтов с Cloudflare включили IndexNow

По состоянию на конец ноября
preview Google о статусе mobile-first индексации и конечных сроках ее запуска

Google о статусе mobile-first индексации и конечных сроках ее запуска

Конкретной даты больше нет