Показать сообщение отдельно
Старый 26.09.2017, 09:09   #6
kxk
Offshore protection
 
Аватар для kxk
 
Регистрация: 30.01.2005
Адрес: Cayman Islands
Сообщений: 16,776
Репутация: 560232
Отправить сообщение для kxk с помощью Skype™
Социальные сети Аккаунт в Telegram

По умолчанию Re: SiteAnalyzer - бесплатная программа для аудита и анализа сайта

chaser, Научите вашего паука слать корректные заголовки браузеров и принимать куки, а также корректно следовать за js редиректом.

---------- Добавлено 26.09.2017 в 08:12 ----------

И ещё баг:
сайт запрещён к индексации в файле robots.txt

Вот роботс:
User-agent: *
Disallow: /admin/
Disallow: /template_cms/
Disallow: /plugins/
User-agent: Yahoo
Disallow: /

User-agent: MJ12bot
Disallow: /

Host: https://ddosov.net
Sitemap: https://ddosov.net/sitemap.xml
kxk вне форума   Ответить с цитированием