Народный SEO Spider - разработка программы для глубокого аудита сайтов

Указал User-agent "Браузер Сhrome (Windows 10)". Проблема со сканированием осталась.

К слову, другие краулеры (Comparser, Netpeak Spider) нормально сканируют сёрч на настройках по умолчанию.

Рядовые сайты не имеют заморочек с ограничением доступа по UA. В любом случае можно подстроиться под определенные условия.

Мне кажется проблема глубже.

К примеру, вот сайты которые программа отказывается сканировать:

http://www.oridis.ru/

http://ajan.ru/

http://fangarden.ru/

(для первого и второго сайта возможно проблема связана с тем, что ссылки с www - считаются внешними)

А вот этот сайт сканируется без проблем:

http://pakstar.ru/

Ну что там с проектом?)

На сайте висит "18 января 2017 г. Анонс SEOSpider 0.3.0 β ожидается в течение 3 дней".

Стыдно говорить, но снова перенос на 2 февраля.

Все-таки так и есть, как я писал ранее, что не просто написать универсальный скрипт обхода любого сайта.

Не поленился, прочитал всю ветку

1. Демки нету

2. Отзывов нет

3. Частое пропадание ТС

4. Перенос сроков

5. Невнятные лицензии

Вывод прост - ищем других более покладистых, а не кормим предоплатой

datot, справедливо. Загляните в топик через 2-3 дня, новая бета вполне сойдет за демо версию (буду рад любому отзыву).

Я сделал анализ нескольких аналогичных сервисов, пока все наступают на одни и те же грабли

Впечатление, что 90 % сервисов писали люди далекие от постоянного анализа сайтов и ежедневной рутинной работы по доведению сайтов до ТОПа

Все супер прогеры, если не воруют, как половина контор, но сеошников в этой толпе практически НЕТ

Поэтому я подожду Вашу прогу - чтобы добавить или в black или в news

При написании скрипта обхода сайта, анализа его в целом и страниц в частности, дело не только в наличии СЕОшника, а зачастую проблема именно чисто алгоритмическая при столкновении с кучей нюансов.