- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Здравствуйте. Хочу просканировать один из своих сайтов (remontturbin.com.ua) программами Xenu и Screaming Frog. Но при запуске сканера, SF сразу выдает error 503, а Xenu - temporarily overloaded..
Хотя сайт при этом открывается. Подскажите где копать, раньше сканировал нормально. Предполагаю, что с .htaccess что-то не так... Хотя, не сканируется и совершенно свежий сайт, в котором SEO ещё и "не пахло" - http://tenti-karkasi.com.ua/, а также точно также отвечает сайт, который давно не трогался, но seo проводилось в свое время и сканировался нормально - http://uzh-turbo.com.ua/ . Буду очень признателен за помощь.
P.S. Единственное, что наводит на мысль - у этих сайтов один хостер, ukraine.com.ua, за несколько лет проблем не возникало. Стоит ли доставать техподдержку и каким образом аргументировать, ведь сайт работает!! Спасибо.
Здравствуйте. Хочу просканировать один из своих сайтов (remontturbin.com.ua) программами Xenu и Screaming Frog. Но при запуске сканера, SF сразу выдает error 503, а Xenu - temporarily overloaded..
Хотя сайт при этом открывается. Подскажите где копать, раньше сканировал нормально. Предполагаю, что с .htaccess что-то не так... Хотя, не сканируется и совершенно свежий сайт, в котором SEO ещё и "не пахло" - http://tenti-karkasi.com.ua/, а также точно также отвечает сайт, который давно не трогался, но seo проводилось в свое время и сканировался нормально - http://uzh-turbo.com.ua/ . Буду очень признателен за помощь.
P.S. Единственное, что наводит на мысль - у этих сайтов один хостер, ukraine.com.ua, за несколько лет проблем не возникало. Стоит ли доставать техподдержку и каким образом аргументировать, ведь сайт работает!! Спасибо.
А если в robots.txt убрать Disallow: / что-нибудь меняется?
А если в robots.txt убрать Disallow: / что-нибудь меняется?
Дык, нет в robots Disallow корня... Во что есть, если ещё не посмотрели:
User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cli/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /tmp/
Host: remontturbin.com.ua
Sitemap: http://remontturbin.com.ua/sitemap.xml
В броузере вы в один поток смотрите, а проги в сколько потоков жрут? Может хостинг слабенький?
Дык, нет в robots Disallow корня... Во что есть, если ещё не посмотрели:
User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cli/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /tmp/
Host: remontturbin.com.ua
Sitemap: http://remontturbin.com.ua/sitemap.xml
Скрин не делал, но корень был в Disallow
+ какие-то комментарии в самом начале.
Вот сейчас вы это всё почистили. Всё равно 503 софт показывает?
Скорее всего в nginx настроено limit_conn_zone, и поделом, чтобы не DDoS'или.
... Хотя, не сканируется и совершенно свежий сайт, в котором SEO ещё и "не пахло" - http://tenti-karkasi.com.ua/
$ curl http://tenti-karkasi.com.ua/robots.txt
# If the Joomla site is installed within a folder such as at
# e.g. www.example.com/joomla/ the robots.txt file MUST be
# moved to the site root at e.g. www.example.com/robots.txt
# AND the joomla folder name MUST be prefixed to the disallowed
# path, e.g. the Disallow rule for the /administrator/ folder
# MUST be changed to read Disallow: /joomla/administrator/
#
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/orig.html
#
# For syntax checking, see:
# http://www.sxw.org.uk/computing/robots/check.html
User-agent: *
Disallow: /
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
$ curl http://tenti-karkasi.com.ua/robots.txt
Тот самый robots.txt c запретом корня.
В броузере вы в один поток смотрите, а проги в сколько потоков жрут?...
Проги жрать не успевают, так как сразу после старта выдают эрор. В настройках пробовал потоки уменьшать до 1-го, та же беда..
...Может хостинг слабенький?
хостинг ukraine.com.ua, сижу на нём более пяти лет, постоянно радует своим развитием, ранее проблем не было. В панели управления хостингом - MySQL -> Медленные запросы - Медленные запросы не обнаружены. Там же нагрузка на web сервер, цитирую:
Оранжевая линия отображает количество запросов статической информации, такой как картинки, видео, JavaScript, Flash и.т.д. Синяя - количество запросов для получения динамической информации, которая формируется скриптами PHP, Perl, Python. В большинстве случаев синяя линия отображает количество просмотренных страниц на вашем сайте. Обработкой статической информации занимается очень быстрый сервер nginx. Динамические страницы формируются с помощью сервер Apache, который умеет вызывать интерпретаторы языков программирования PHP, Perl и других. В статистику по нагрузке попадают только те запросы, которые проходят через сервер Apache. Если количество запросов на Apache составляет более 50% от количества запросов на nginx, то это говорит о возможных проблемах с сайтом. Такими проблемами могут быть: CMS, которые статическую информацию формируют через скрипты, слишком большая посещаемость вашего сайта роботами или же неправильные настройки виртуального хоста.
Скрины вроде не страшные )
Проги жрать не успевают, так как сразу после старта выдают эрор. В настройках пробовал потоки уменьшать до 1-го, та же беда..
хостинг ukraine.com.ua, сижу на нём более пяти лет, постоянно радует своим развитием, ранее проблем не было. В панели управления хостингом - MySQL -> Медленные запросы - Медленные запросы не обнаружены. Там же нагрузка на web сервер, цитирую:
Скрины вроде не страшные )
Роботс кривой, хостинг не при чем :)
Уберите Disalow: / и взлетит сразу.
На этот раз скрин: http://ipic.su/img/img7/fs/image.1438195156.jpg
Скрин не делал, но корень был в Disallow
+ какие-то комментарии в самом начале.
ничё не чистил на изначално проблемном сайте - remontturbin.com.ua
robots как был так и остался.
Вот сейчас вы это всё почистили. Всё равно 503 софт показывает?
503, проверил - так как решения пока нет.
---------- Добавлено 29.07.2015 в 20:49 ----------
ребята, читаем вместе моё сообщение
Все остальные сайты как дополнение к решению.
Сайт http://tenti-karkasi.com.ua намеренно закрыт от индексации, так как сайт молодой, слеплен на скорую руку и не уникальный.
Смотрите robots сайта remontturbin.com.ua !!!! там нет Disallow корня!!!
---------- Добавлено 29.07.2015 в 20:52 ----------
Роботс кривой, хостинг не при чем :)
Уберите Disalow: / и взлетит сразу.
На этот раз скрин: http://ipic.su/img/img7/fs/image.1438195156.jpg
Специально убрал Disallow / из robots http://tenti-karkasi.com.ua - не взлетел!!
---------- Добавлено 29.07.2015 в 20:55 ----------
Скорее всего в nginx настроено limit_conn_zone, и поделом, чтобы не DDoS'или.
А как это определить? Беседа по душам с хостером?