Форум Практика оптимизации Сервисы и программы для работы с SE

Seo Frog парсинг страниц с параметром

F2
На сайте с 01.04.2008
Offline
110
flint2000
530

Всем привет. Столкнулся с проблемой, краулер не хочет ходить по страницам пагинации с параметрами ?PAGEN_1=2 и парсить данные

Уже пробовал и регулярки прописывать, но видимо не так или не то прописывал. Раньше парсил по карте сайте и проблем не было, а в данном случае карты нету. Кто чего посоветует?

angel57
На сайте с 01.04.2014
Offline
154
angel57
#1

а они в robots не закрыты случайно?

можно в экселе написать формулу СЦЕПИТЬ(адрес страницы;"?PAGEN_1=2") и загрузить это списком в краулер (идея может не самая умная но я сонный )))

Onecontent
На сайте с 02.05.2016
Offline
91
Onecontent
#2

Прекрасно он ходит по пагинации. 100% есть правила либо в роботсе, либо в теге на странице.

Создание и продвижение сайтов в Самаре ( https://onecontent.ru ) Автоаксессуары и тюнинг в Красноярске ( https://carbonado24.com )
F2
На сайте с 01.04.2008
Offline
110
flint2000
#3
angel57:
а они в robots не закрыты случайно?
Onecontent:
Прекрасно он ходит по пагинации. 100% есть правила либо в роботсе, либо в теге на странице.

Спасибо ребята. Совсем забыл про эти настройки

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий