- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Хостер говорит, что сайт начал создавать черезмерную нагрузку на сервер. Анализ IP выявил, что львиная часть запросов идет от гугла и яндекса. В связи с чем создали robots.txt и добавил туда:
User-agent: *
Disallow:
Crawl-delay: 10
Несколько дней было все в норме, сейчас опять нагрузка выросла с тех же IP. Что делать?
1. Оптимизировать работу скриптов, но как понять, есть ли сильнонагружающие и если есть, то как их искать?
2. Хостер предлагает взять более дорогой тариф или просто заблокировать заходы с IP поисковиков. Не хочется ни того, ни другого.
3. Может быть можно как-то еще тюнинговать robots.txt?
заблокировать в хтасесс по юзер агенту, а также по ip если юзер агент типа обычного браузера.
роботс тут особо не поможет, на Crawl-delay многие забивают, а всякие типа бинга - так и на полный запрет его в роботсе не смотрят. больше ничего на шаред хостинге не сделать.
повысить тариф
если считаете то что это не оправданно то попробовать сменить хостинг.
заблокировать в хтасесс по юзер агенту, а также по ip если юзер агент типа обычного браузера.
роботс тут особо не поможет, на Crawl-delay многие забивают, а всякие типа бинга - так и на полный запрет его в роботсе не смотрят. больше ничего на шаред хостинге не сделать.
Но если заблокировать, то поисковики индексировать не смогут. Как они отнесутся к сайту тогда?
Но если заблокировать, то поисковики индексировать не смогут. Как они отнесутся к сайту тогда?
так вы ж яндекс и гугл не баньте. а баньте всякое бесполезное непотребство. по моим данным, основанным на логах более 10к сайтов - гугл с яндексом это около 5-10% ботов, посещающих сайт, т.е. нагрузка реально может быть снижена на 90%
foxi, хехе... странные у вас сайты.. у меня сайтец был 80% гуглботы были.. остальное мейлру, мсн и пр...
по сабжу:
1) оптимизировать скрипты, если сами не в состоянии обратиться к спецам (за $)
2) поменять тариф на более дорогой
3) менять хостера, но тут надо быть аккуратным и выбрать норм хостера, чтоб от него через неделю не съезжать :)
4) роботсом делу не поможете...
5) будете бездействовать сайт отключат!
поторопитесь с решением
foxi, хехе... странные у вас сайты.. у меня сайтец был 80% гуглботы были.. остальное мейлру, мсн и пр...
чем старше сайт (и более раскрученный), тем больше там будет левых ботов. это не значит что ко мне гугл не любит ходить, просто всяких других ходит больше, бинг (со своими клонами), соломоно с ахрефсом, и много других, генерящих очень многотыщ обращений к сайтам в сутки.
так вы ж яндекс и гугл не баньте. а баньте всякое бесполезное непотребство. по моим данным, основанным на логах более 10к сайтов - гугл с яндексом это около 5-10% ботов, посещающих сайт, т.е. нагрузка реально может быть снижена на 90%
Как раз основная масса запросов от Гугла и Яндекса идет. Именно они и делают нагрузку.
Что за сайт такой что они к вам каждый день ходят? Отдавайте им RSS-ленту с полной картой сайта.
И вы уверены что именно поисковые боты создают проблему? Я вот не очень!
Что за сайт такой что они к вам каждый день ходят? Отдавайте им RSS-ленту с полной картой сайта.
И вы уверены что именно поисковые боты создают проблему? Я вот не очень!
Сайт - энциклопедия. Несколько десятков тысяч страниц в индексе. Уверен, судя по IP ходят именно они, что создает основную массу нагрузки.