Сканирование сайта

A
На сайте с 18.04.2013
Offline
96
301

добрый день. Есть сайт http://xn--80aaafba5bacmiicxrsi1czd2k.xn--p1ai/ - запускаю сканер сайта с ограничением сканирования служебных папок upload и bitrix.

Сайт на битриксе. На сайте всего 12 тыс. товаров и 4 тыс. страниц с категориями, брендами, новостями и статьями. Итого 16 тыс. страниц.

На выходе Xenu мне выдает 1,6 млн ссылок, включая картинки, js, css, различного рода внешние ссылки и страницы с get-параметрами (пагинация, фильтр).

Вопрос - что я делаю не так? как мне просканировать сайт и получать только html-страницы? Возможно ли в Xenu задать ограничение сканирования определенных гет-параметров?

Или может сканер посоветуете какой другой. Потому что другие сканеры совсем не видят ссылки на сайте и не могут его сканировать........

Петр Лях
На сайте с 23.02.2013
Offline
139
#1

Какая цель сканирования сайта у вас? В Xenu есть сортировка по типу страниц - html, image, css, но нормальной фильтрации нет. Для фильтрации результатов сканирования лучше использовать Screaming Frog. Еще из сканеров есть Netpeak Spider

Результативное продвижение сайта ( https://searchengines.guru/ru/forum/964018 ) Услуги по seo и usability ( http://windakolit.com )

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий