Seo Frog парсинг страниц с параметром

F2
На сайте с 01.04.2008
Offline
105
482

Всем привет. Столкнулся с проблемой, краулер не хочет ходить по страницам пагинации с параметрами ?PAGEN_1=2 и парсить данные

Уже пробовал и регулярки прописывать, но видимо не так или не то прописывал. Раньше парсил по карте сайте и проблем не было, а в данном случае карты нету. Кто чего посоветует?

angel57
На сайте с 01.04.2014
Offline
124
#1

а они в robots не закрыты случайно?

можно в экселе написать формулу СЦЕПИТЬ(адрес страницы;"?PAGEN_1=2") и загрузить это списком в краулер (идея может не самая умная но я сонный )))

Onecontent
На сайте с 02.05.2016
Offline
53
#2

Прекрасно он ходит по пагинации. 100% есть правила либо в роботсе, либо в теге на странице.

Создание и продвижение сайтов в Самаре (https://onecontent.ru) Автоаксессуары и тюнинг в Красноярске (https://carbonado24.com)
F2
На сайте с 01.04.2008
Offline
105
#3
angel57:
а они в robots не закрыты случайно?
Onecontent:
Прекрасно он ходит по пагинации. 100% есть правила либо в роботсе, либо в теге на странице.

Спасибо ребята. Совсем забыл про эти настройки

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий