kustov#: Как интересно. Сам спросил, сам ответил, сам прорекламировал сервис, который по странному совпадению именно сегодня возбудился подарками. Отличная реклама.
Мде, уж слишком топорно сработано, халтура прям какая-то))
Здравствуйте. В программе как-то можно обойти 403 ошибку при проверке URL? На странице, с которой надо получить данные, подключен cloudflare. И, видимо, он вызывает ее.
Здравствуйте. На данный момент никак, чуть позже займемся данной проблемой.
wicker#: как мило :) делать откровенно кастрированный сервис, который джун за пару дней напишет и выдавать это как "сервис не для профессионалов" :)
Ну дык, судя по этому детскому лепету в обсуждениях, данное "нечто" и собираются писать какие-то школьники на коленке. И полагаю, что если вернуться сюда через год, они так и будут обсуждать вопрос "кто как видит сервис для маркетолога"...
У ахрефса есть
Как интересно. Сам спросил, сам ответил, сам прорекламировал сервис, который по странному совпадению именно сегодня возбудился подарками. Отличная реклама.
Здравствуйте. В программе как-то можно обойти 403 ошибку при проверке URL? На странице, с которой надо получить данные, подключен cloudflare. И, видимо, он вызывает ее.
как мило :) делать откровенно кастрированный сервис, который джун за пару дней напишет и выдавать это как "сервис не для профессионалов" :)
Вроде бы не пятница....
Тоже загружал 10к урлов, программа зависла на ~7000 и не проверяла дальше на протяжении нескольких часов.
Ок, начал заново задачу, программа проверила все 10к урлов, но уникальность не выдала.
Подал 1500 урлов, только тогда отработала.
Сейчас подаю 5000 урлов, программа все проверила, но уже больше часа не определяет уникальность. В логе новых событий не появляется.
Версия 1.3 (build 21)
интересный парсер... )
не хватает мануала к нему, ну или несколько кейсов в которых программа оказалось полезной ;)
Совсем скоро добавим мануал с реальными примерами
А пока, можно пользоваться шаблонами для парсинга из этой статьи - https://site-analyzer.ru/articles/buscr/
chaser
приветствую, подскажи пожалуйста из-за чего может быть потеря вставляемых урлов?
все урлы имеют синтаксис: "https://site.ru"
беру список из 500 урлов, вставляю через "вставить из буфера", вставляется только 491 урл - копировал эти урлы из эксель и блокнота.
потом пробовал загружать уплы из txt файла, точно такая же потеря.
уменьшал количество вставляемых урлов - но все равно вставляет не все.
Возможно это возникает из-за дублей УРЛ.
Функция скрейпинга появится в новой версии программы SiteAnalyzer, так что в ней скорее всего данный баг будет исправлен.
Загрузил в программу предельное количество URL - 10000.
Программа работала с 17.06 до 21.00. Сбор страниц занял 1 час 43 минуты.
При сравнении программа зависла в «Не отвечает» на 2 часа 20 минут, затем произошел отклик на 7762 странице. Затем произошла ошибка «Out of memory».
Не знаю с чем она связана, но наблюдаю её не первый раз. В ОЗУ было ещё свободно 10 ГБ.
Она 32-битная, видимо в этом проблема.
SiteAnalyzer 32 и 64 бит, думаю не будет в этим проблем.