Сканирование мобильной версии сайта

afonik
На сайте с 20.09.2007
Offline
175
564

Нужно просканировать мобильную версию сайта (около 1000к страниц). Но проблема в том, что мобильная версия отдается по тому же урлу (в зависимости от устройства).

Мои программы с этой задачей не справляются. Возможно нужна программа с настройкой урл-параметра? Какой программой можно это сделать и как?

Микроразметка.ру (http://mikrorazmetka.ru/)
technomaster
На сайте с 26.08.2008
Offline
187
#1

Как отдается мобильная версия? Серверно или адаптивно? Возможно временно переключить сайт в мобильный режим полностью и просканировать, потом вернуть все назад. А так сложно сказать без конкретного пациента.

Новый сервис для владельцев сайтов - soon!
afonik
На сайте с 20.09.2007
Offline
175
#2
technomaster:
Как отдается мобильная версия? Серверно или адаптивно? Возможно временно переключить сайт в мобильный режим полностью и просканировать, потом вернуть все назад. А так сложно сказать без конкретного пациента.

Мобильная версия отдается серверно. Да, тоже думали временно включить каким-то образом мобильную версию, но хотелось бы вариант получше.

Да чего там пациент, сейчас таких сайтов куча: zoon.ru, yandex.ru и т.д.

SamCram
На сайте с 16.08.2006
Offline
163
#3

При отправке запрос к серверу USER AGENT какой нибудь "мобильный" передавайте

В настройках у нормальных скраперов эта возможность должна быть. Вот например в скриминг фрог - http://joxi.ru/zANBDjVczDk6A9

afonik
На сайте с 20.09.2007
Offline
175
#4
SamCram:
При отправке запрос к серверу USER AGENT какой нибудь "мобильный" передавайте

Да, спасибо! У меня в программе узеагент только добавлять можно, отдельно никак.

Значит настала пора обновить коллекцию программ. Фрога обновлять до платной версии жаба душит :) Обновлю до платной компарсер, там юзерагенты мобильные есть.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий