Screaming Frog видит ссылки, которых нет в коде.

Константин Даткунас
На сайте с 03.03.2011
Offline
98
468

При проверке одного из своих конкурентов обнаружил странную штуку. Парсер видит ссылки пагинации, которых я не вижу в коде страниц.

Суть в том, что в данном разделе всего 15 страниц. 


При этом показывает где находить ссылки

Для данной страницы: https://crushmash.com/o-kompanii/presscentr/?PAGEN_2=15

//body/div[@id='mine']/div[@class='content']/div/div[@class='pagination']/a[@class='pagination__link'][2]

Система: Bitrix 


Настройки Frog:

User Agent - Screaming Frog SEO Spider

Rendering: Text Only

Вопрос: Каким образом парсер может находить подобные ссылки, если пользователь их не видит.

Такое ощущение, что Frog перебирает пагинацию. Но в таком случае почему он останавливается на 46 странице, а не идёт в бесконечность. 

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий