Screaming Frog не парсит сайт.

12
L3
На сайте с 29.03.2022
Offline
1
1210

Всем доброго времени суток! Помогите пожалуйста получить инфу с сайта https://www.eapteka.ru. Пока что ни одна из попыток не увенчалась успехом(изменение юзер-агента перепробовал все, скорость парсинга и кол-во сканируемых страниц, галочки игрора робот.тхт и тд). 

Карта сайта не открывается. Рототс.тхт показывает следующее почти по всем пунктам:

User-Agent: *

Disallow: /*/search/*

Можно ли как то обойти защиту? 

Нужна вот эта строчка по товару(см прикр файл)

png b6gl26bdxlj_2022-03-29_133709.png
Виктор Петров
На сайте с 05.01.2020
Offline
240
#1
Приём куки включали?
L3
На сайте с 29.03.2022
Offline
1
#2

Как это ни странно, но нет такого пункта...

png 6spk3fwnm9r_2022-03-29_140730.png
L3
На сайте с 29.03.2022
Offline
1
#3

Попал таки на карту сайта.

Все строчки имеют практически идентичное название и выглядят вот так 

<sitemap>
<loc>https://www.eapteka.ru/upload/eapteka_sitemap/sitemap_ssl_sections_056.xml</loc>
<lastmod>2022-03-28T13:06:45+03:00</lastmod>
totamon
На сайте с 12.05.2007
Offline
437
#4
lahesis333 #:

Попал таки на карту сайта.

Все строчки имеют практически идентичное название и выглядят вот так 

<sitemap>
<lastmod>2022-03-28T13:06:45+03:00</lastmod>
а перейти по эти урлам религия не позволила?)
Домены и хостинг https://8fn.ru/regru | Дедик от 3000р https://8fn.ru/73 | VPS в Москве https://8fn.ru/72 | Лучшие ВПС, ТП огонь, все страны! https://8fn.ru/inferno | ХОСТИНГ №1 РОССИИ https://8fn.ru/beget
Lazy Badger
На сайте с 14.06.2017
Offline
228
#5
totamon #:
а перейти по эти урлам религия не позволила?)

еще скажи "подумать головой" и "изучить структуры xml-sitemap"

"Не рефлексируй, чо нипонял - биги на форум спрашивай!" (с) малолетки

Производство жести методом непрерывного отжига
Onecontent
На сайте с 02.05.2016
Offline
92
#6

По картам бежит только в путь. 

Создание и продвижение сайтов в Самаре ( https://onecontent.ru ) Автоаксессуары и тюнинг в Красноярске ( https://carbonado24.com )
L3
На сайте с 29.03.2022
Offline
1
#7
Onecontent #:

По картам бежит только в путь. 

А можно попросить ваш запрос в custom extraction? Просто у меня не находит тех результатов что у вас на скрине. 

JOHNY2010
На сайте с 15.09.2010
Offline
147
#8
Бывает аналогичный баг, что лягушка не хочет собирать информацию, проходит путем закрытия-открытия софта пару раз.
Семантическое ядро под ключ - https://searchengines.guru/ru/forum/855757 ||| Юридический трафик обсуждаем - https://t.me/lawsection.
L3
На сайте с 29.03.2022
Offline
1
#9
JOHNY2010 #:
Бывает аналогичный баг, что лягушка не хочет собирать информацию, проходит путем закрытия-открытия софта пару раз.

Та я в принципе в этом вопросе не шарю)) Делаю так как на скринах. Может что то в настройках нужно изменить?

jpg 61n234ll8cci.jpg
jpg c50lp1f9nr7j2.jpg
jpg kkmbk2589y1t3.jpg
L3
На сайте с 29.03.2022
Offline
1
#10
Вообщем вроде немного разобрался(в смысле есть хоть что то). Карточки товара находит, но все равно не выдает нужные мне значения(производителя товара).
jpg z3zabhltfljg.jpg
jpg 1kneu8wj6g9f2.jpg
jpg cooy4i5mosug3.jpg
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий