sanitarn

sanitarn
Рейтинг
199
Регистрация
20.08.2007
ОксПозд:
Доброго времени суток!
Пытаюсь спарсить следующий сайт - https://www.csillium.ru (с остальными работает верно) с помощью Screaming Frog и сканируется только главная страница. В Настройках robots.txt стоит в игноре, чексбоксы в Follow Internal "nofollow" и Follow External "nofollow" также стоят. С чем это может быть связано, подскажите, пожалуйста?

Если версия 9.4 то нужно отключить в настройках http://prntscr.com/k5nrp7 и будет сканировать.

Andrey SC, выше общались по данному вопросу, через апи мегаиндекса, думал понятно будет.

Andrey SC:
Какие конкретно данные в апи Гугла вас интересуют?

Съем позиций.

Andrey SC, когда планируются подключения снятия данных по API для Гугла?

Заказал данную услугу у ТС.

И так всего получилось 223 площадки, где ТС проставил ссылки, пока прошла неделя, рано говорить о количестве ссылок, которые попадут в анкор лист.

Расскажу о площадках, из 223 площадок:

nofollow 68 площадок

noindex 13 площадок

Не в индексе Гугла 26 площадок

Block Robots 3 площадки.

В целом если получу 100 беков всего, то за данные сумму это отличный результат.

JesterSoft:

Если не секрет сколько у Вас ключей для парсинга под Google?

Не секрет, порядка 50000 запросов.

Andrey SC:
Внедрить можно, только тогда будет выходить, что стоить парсинг будет сильно дороже.

Дешевле, чем через сервисы в 10 раз в любом случае. Опять же на любителя, кто-то готов платить за прокси, кто-то за сбор данных по API

Внедрите сбор данных с АПИ мегаиндекса, тот же гугл быстрее и удобнее парсить, а то с проксями только мУки

Разместился у Алексей по 2 пакетам, он очень гибкий и приятный в общении. Договорились мы с ним на индивидуальных условиях, нас обоих это устроило!

Заказ выполнил в течение 24 часов, за что ему большое спасибо, жду индексации! ;)

Всего: 1573