Проги-сканеры выдают 503, но сайты работают. В чём дело?

itconsult · 2015-07-29T14:23:12.0000000Z

Здравствуйте. Хочу просканировать один из своих сайтов (remontturbin.com.ua) программами Xenu и Screaming Frog. Но при запуске сканера, SF сразу выдает error 503, а Xenu - temporarily overloaded.. Хотя сайт при этом открывается. Подскажите где копать, раньше сканировал нормально. Предполагаю, что с .htaccess что-то не так... Хотя, не сканируется и совершенно свежий сайт, в котором SEO ещё и "не пахло" - http://tenti-karkasi.com.ua/ , а также точно также отвечает сайт, который давно не трогался, но seo проводилось в свое время и сканировался нормально - http://uzh-turbo.com.ua/ . Буду очень признателен за помощь. P.S. Единственное, что наводит на мысль - у этих сайтов один хостер, ukraine.com.ua, за несколько лет проблем не возникало. Стоит ли доставать техподдержку и каким образом аргументировать, ведь сайт работает!! Спасибо.

[Удален]

29 июля 2015, 18:59

#11

Как был так и есть http://tenti-karkasi.com.ua/robots.txt ничего не убрано.

DV

644

DenisVS

29 июля 2015, 19:01

#12

itconsult:
А как это определить? Беседа по душам с хостером?

Просто попросите, чтобы объяснили, почему работает именно так. В этом нет никакой военной тайны, один из методов улучшить нагрузочные показатели хостинга.

VDS хостинг ( http://clck.ru/0u97l ) Нет нерешаемых задач ( https://searchengines.guru/ru/forum/806725 ) | Перенос сайтов на Drupal 7 с любых CMS. ( https://searchengines.guru/ru/forum/531842/page6#comment_10504844 )

I

2

itconsult

29 июля 2015, 19:06

#13

Topvisor:
Как был так и есть http://tenti-karkasi.com.ua/robots.txt ничего не убрано.

А комментарии не считаются!?

---------- Добавлено 29.07.2015 в 21:08 ----------

DenisVS:
Просто попросите, чтобы объяснили, почему работает именно так. В этом нет никакой военной тайны, один из методов улучшить нагрузочные показатели хостинга.

Спасибо, попробуем, все проверяемые сайты лежат у этого хостера. Зададим вопрос.

SI

130

Sigmo#ID

29 июля 2015, 19:15

#14

Нормально всё грузится.

Вот за 10 сек.

$ wget -r -S http://remontturbin.com.ua/ |& grep -E 'HTTP/|--'

--2015-07-29 22:07:00-- http://remontturbin.com.ua/
HTTP/1.1 200 OK
--2015-07-29 22:07:01-- http://remontturbin.com.ua/robots.txt
HTTP/1.1 200 OK
--2015-07-29 22:07:01-- http://remontturbin.com.ua/templates/jsn_decor_pro/favicon.ico
HTTP/1.1 200 OK
--2015-07-29 22:07:01-- http://remontturbin.com.ua/components/com_k2/css/k2.css
HTTP/1.1 200 OK
--2015-07-29 22:07:02-- http://remontturbin.com.ua/media/system/css/modal.css
HTTP/1.1 200 OK
--2015-07-29 22:07:02-- http://remontturbin.com.ua/plugins/system/jcemediabox/css/jcemediabox.css?0e3f2b30069ade21573d26af0b15640b
HTTP/1.1 200 OK
--2015-07-29 22:07:02-- http://remontturbin.com.ua/plugins/system/jcemediabox/themes/light/css/style.css?aba83df390b83f55cf0352172d31832d
HTTP/1.1 200 OK
--2015-07-29 22:07:02-- http://remontturbin.com.ua/components/com_imageshow/assets/css/style.css
HTTP/1.1 200 OK
--2015-07-29 22:07:02-- http://remontturbin.com.ua/media/jui/css/bootstrap.min.css
HTTP/1.1 200 OK
--2015-07-29 22:07:02-- http://remontturbin.com.ua/media/jui/css/bootstrap-responsive.min.css
HTTP/1.1 200 OK
--2015-07-29 22:07:02-- http://remontturbin.com.ua/media/jui/css/bootstrap-extended.css
HTTP/1.1 200 OK
--2015-07-29 22:07:03-- http://remontturbin.com.ua/templates/system/css/system.css
HTTP/1.1 200 OK
--2015-07-29 22:07:03-- http://remontturbin.com.ua/templates/system/css/general.css
HTTP/1.1 200 OK
--2015-07-29 22:07:03-- http://remontturbin.com.ua/templates/jsn_decor_pro/css/template.css
HTTP/1.1 200 OK
--2015-07-29 22:07:03-- http://remontturbin.com.ua/templates/jsn_decor_pro/css/template_pro.css
HTTP/1.1 200 OK
--2015-07-29 22:07:03-- http://remontturbin.com.ua/templates/jsn_decor_pro/css/colors/blue.css
HTTP/1.1 200 OK
--2015-07-29 22:07:03-- http://remontturbin.com.ua/templates/jsn_decor_pro/css/styles/business.css
HTTP/1.1 200 OK
--2015-07-29 22:07:03-- http://remontturbin.com.ua/templates/jsn_decor_pro/css/jsn_mobile.css
HTTP/1.1 200 OK
--2015-07-29 22:07:03-- http://remontturbin.com.ua/templates/jsn_decor_pro/css/jsn_css3.css
HTTP/1.1 200 OK
--2015-07-29 22:07:03-- http://remontturbin.com.ua/media/jui/css/bootstrap.css
HTTP/1.1 200 OK
--2015-07-29 22:07:04-- http://remontturbin.com.ua/media/jui/css/bootstrap-responsive.css
HTTP/1.1 200 OK
--2015-07-29 22:07:04-- http://remontturbin.com.ua/media/system/js/mootools-core.js
HTTP/1.1 200 OK
--2015-07-29 22:07:04-- http://remontturbin.com.ua/media/system/js/core.js
HTTP/1.1 200 OK
--2015-07-29 22:07:04-- http://remontturbin.com.ua/media/jui/js/jquery.min.js
HTTP/1.1 200 OK
--2015-07-29 22:07:05-- http://remontturbin.com.ua/media/jui/js/jquery-noconflict.js
HTTP/1.1 200 OK
--2015-07-29 22:07:05-- http://remontturbin.com.ua/media/jui/js/jquery-migrate.min.js
HTTP/1.1 200 OK
--2015-07-29 22:07:05-- http://remontturbin.com.ua/components/com_k2/js/k2.js?v2.6.9&sitepath=/
HTTP/1.1 200 OK
--2015-07-29 22:07:05-- http://remontturbin.com.ua/media/system/js/mootools-more.js
HTTP/1.1 200 OK
--2015-07-29 22:07:05-- http://remontturbin.com.ua/media/system/js/modal.js
HTTP/1.1 200 OK
--2015-07-29 22:07:06-- http://remontturbin.com.ua/media/system/js/caption.js
HTTP/1.1 200 OK
--2015-07-29 22:07:06-- http://remontturbin.com.ua/plugins/system/jcemediabox/js/jcemediabox.js?6bd76d2ca8f1644e91675c5928e82673
HTTP/1.1 200 OK
--2015-07-29 22:07:06-- http://remontturbin.com.ua/media/jui/js/bootstrap.min.js
HTTP/1.1 200 OK
--2015-07-29 22:07:06-- http://remontturbin.com.ua/plugins/system/jsntplframework/assets/joomlashine/js/noconflict.js
HTTP/1.1 200 OK
--2015-07-29 22:07:07-- http://remontturbin.com.ua/plugins/system/jsntplframework/assets/joomlashine/js/utils.js
HTTP/1.1 200 OK
--2015-07-29 22:07:07-- http://remontturbin.com.ua/templates/jsn_decor_pro/js/jsn_template.js
HTTP/1.1 200 OK
--2015-07-29 22:07:07-- http://remontturbin.com.ua/callme/js/callme.js
HTTP/1.1 200 OK
--2015-07-29 22:07:07-- http://remontturbin.com.ua/images/logo.png
HTTP/1.1 200 OK
--2015-07-29 22:07:07-- http://remontturbin.com.ua/templates/jsn_decor_pro/images/logo.png
HTTP/1.1 200 OK
--2015-07-29 22:07:07-- http://remontturbin.com.ua/images/callback2.png
HTTP/1.1 200 OK
--2015-07-29 22:07:07-- http://remontturbin.com.ua/uslugi/remont-turbin
HTTP/1.1 200 OK
--2015-07-29 22:07:08-- http://remontturbin.com.ua/uslugi/uslugi-sto
HTTP/1.1 200 OK
--2015-07-29 22:07:09-- http://remontturbin.com.ua/katalog-zapchastej/katalog-kartridzhej
HTTP/1.1 200 OK
--2015-07-29 22:07:10-- http://remontturbin.com.ua/katalog-zapchastej/katalog-oborotnykh-turbin
HTTP/1.1 200 OK
--2015-07-29 22:07:10-- http://remontturbin.com.ua/katalog-zapchastej/katalog-turbin
HTTP/1.1 200 OK

-= Онлайн сервисы =-

I

2

itconsult

29 июля 2015, 19:24

#15

Sigmo#ID:
Нормально всё грузится.

Вот за 10 сек.

$ wget -r -S http://remontturbin.com.ua/ |& grep -E 'HTTP/|--'

Гуд, уже хоть что-то. А каким образом? Обычным запросом? Не софтиной? Это значит что хостер непричём?!

А есть у кого Xenu или SFrog? Стартоните, идёт у вас или нет!? Мож с компом/с прогой/с провайдером моего интернета что-то....

---------- Добавлено 29.07.2015 в 21:26 ----------

...хотя Xenu последняя, настройки сбрасывал на ноль...

Поиск непроиндексированных страниц Сайт индексируется на порту Накажет ли ЮТ за

I

2

itconsult

29 июля 2015, 21:59

#16

В общем, что выяснил.

С компом всё ок, запустил с другого компа - то же самое.

Подключился через другого провайдера интернета - вуаля!!!! Сканирует!!!

Недавно сменил место жительства, соответсвенно другой интернет - провайдер. Не думал, что 503 ошибку отдаёт сервер провайдера а не сервер хостера (получается так).

По сему вопрос - как разговаривать с провайдером, чтоб он мне открыл "что-то" для seo сканеров?

---------- Добавлено 30.07.2015 в 00:07 ----------

Такссс, народ. И снова ж....а. Запускаю на скан любой левый сайт (чё в голову раньше не пришло это) - сканирует!!! Так всё таки хостер "краники прикрутил"?? Что скажете?

---------- Добавлено 30.07.2015 в 00:27 ----------

Мысли вслух:

... проблема не в хостере, ведь с другого провайдера всё рабоет!!

...проблема не в интернет провайдере, ведь скан левых сайтов идёт нормально

---------- Добавлено 30.07.2015 в 00:49 ----------

РЕШЕНИЕ!!!

Не просто так я начал косо смотреть в сторону интернет провайдера, проблема оказалась в нём!!! Когда я запускал сканер через другого првайдера, мне был выдан другой IP, который не был ни в каких блеклистах!!! Когда я запускаю сканер со своего динамического IP, выданного моим инет-провайдером, хостер блокирует мои запросы так как мой IP находится в BL!!! Просканил на наличие на https://2ip.com.ua/ru/services/ip-service/spam - оказался в 4 блэклистах, Сменил софтом IP - всё заработало!!!

Ругаться бесполезно, так как доморощеных кул-хацкеров хватает, которые ddos-ят в открытую с выданного ip, а потом этот адрес попадает мне...

Буду заказывать внешний ip, тем более мне он понадобиться для удалёнки.

Всем спасибо за помощь и оперативные ответы.

1

Ошибка 302 ДНС, Хостинг и Провайдер У кого украли Webmoney

DV

644

DenisVS

30 июля 2015, 04:44

#17

itconsult, и, наверное, "дефектный" провайдер имеет расшаренный IP, как у сотовых операторов…

Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы

VK приобрела 70% в структуре компании-разработчика red_mad_robot