- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Доброго всем вечера.
У меня такая проблема - с сервера, где находится сайт, сообщили, что трафик вырос до чудовищных размеров до 2ТБ, попросили принять меры. Не верить не могу, т.к. сайт находится у знакомого на сервере.
По логам я уже видела до этого, что просто какие то атаки всяких ботов идут - высасывают все подряд, как пылесосы. В robots.txt прописаны запреты им, стали блокировать по IP - так из-за этих IP уже в конфиге черт ногу сломит... каждый IP тоже не заблокируешь... может по маске сделать?
Я не знаю, как правильно все сделать - запреты стоят, а роботы, которым запрещено - на сайте просто стадами бегают. Еще очень боюсь, что при блокировке, закроется сайт и для нормальных поисковых роботов.
Во всем этом - пока мало разбираюсь - пытаюсь только понять и научится. Если у кого то знающего есть время, то подскажите, пожалуйста, как правильно все это прописать -для Я и Г - сайт открыт, а всем остальным - полный запрет.
На бирже фриланса создайте задание, это проблема скорее из этого ряда, а не из разряда вопросов на форуме. А вообще у вас скорее всего движок вроде джумлы, ВП или друпала. Ломают их щас нещадно. Сам отбивался на прошлой неделе - сайт из-за попыток сломать админку просто лежал (такой своеобразный дидос устроили). Выходом настроил доп. авторизацию. Где-то валялись рекомендации прова, но щас уже не найду. Да и не факт, что у вас именно из-за этого (хотя полагаю, таки именно брут). В общем, создавайте на фрилансе задание, только на ценник не скупитесь, пусть г-кодеры властители цифири и мастера клавы сайтик ваш расколдовывают.
А вообще у вас скорее всего движок вроде джумлы, ВП или друпала. Ломают их щас нещадно.
Нет )) движок у нас самописный, отклик сайта - великолепный из 10 нам 10 поставили в этой позиции. Я просто не могу отбиться от bingbot, SputnikBot и еще несколько штук, которые просто достали.
В и-нете пересмотрела все, что обсуждали, как закрывать сайт от них, может, что не так поняла и не правильно прописала. Думала - здесь подскажут, как правильно все писать (( видно.. не судьба.
Спасибо, что ответили.
Прописать в robots.txt
User-agent: *
Crawl-delay: 10
Проверить структуру сайта, может дублей страниц много, вот боты и бегают.
Если не поможет, значит боты левые или прописали неправильно.
Можете сюда содержимое robots.txt скопировать, возможно там ошибки.
Можете сюда содержимое robots.txt скопировать, возможно там ошибки.
User-agent:*
Disallow: /blog #
Disallow: /forum #
Disallow: /pic.php? #
Disallow: /clipboard.swf?#
Disallow: /cards/category.php?#
Disallow: /cards/cards/card.php?#
Host: *******.com
User-Agent: MSNBot
Crawl задержки: 10
User-agent: Baiduspider/2.0
Disallow: /
User-agent: SputnikBot
Disallow: /
User-agent: AhrefsBot
Disallow: /
User-agent: BLEXBot
Disallow: /
User-agent: Butterfly
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: rogerbot
Disallow: /
User-agent: Mail.ru
Crawl-delay: 300
User-agent: proximic
Disallow: /
/ Host: ******* / в файле прописан правильно - просто здесь специально убрала, чтобы не посчитали рекламой
Прописать в robots.txt
User-agent: *
Crawl-delay: 10
Выход, но временный.
Проблему так не решить.
отклик сайта - великолепный из 10 нам 10 поставили в этой позиции.
Эмммммммм. А кто поставил?
Я просто не могу отбиться от bingbot, SputnikBot и еще несколько штук, которые просто достали.
Закройте в ХТакцессе доступ от всех ботов, окромя ПС, которые вас интересуют.
Есть мнение, что нагрузка спадёт :)
Disallow: /blog #
Disallow: /forum #
Disallow: /pic.php? #
Disallow: /clipboard.swf?#
Disallow: /cards/category.php?#
Disallow: /cards/cards/card.php?#
Решетки, с пробелами, это - фейспалм :)
Не говорю уже об остальном.
Crawl задержки: 10
Капец.
Предоставьте сайт, и вам напишут роботс, чтобы не было этой белиберды.
Или обратитесь в "работу для вебмастера", и там, за некое кол-во денег, вам все починят.
Это что такое? Он какбэ по-русски не понимает :)
User-Agent: MSNBot
Crawl задержки: 10
Делали СЕО аудит, правда не глобальный ( за те деньги что взяли - нас и такой устроил, т.к. показал нам наши основные ошибки, которые были)
"Закройте в ХТакцессе доступ от всех ботов" - вот это я и хочу сделать , но не знаю, как правильно писать, а по тому, что нашла - здесь у вас же на форуме - ссылку, простите, дать не смогу с хода, то поняла, что нужно быть профи, чтобы не отсечь нужных поисковых ботов - вот и рискнула обратиться к знающим людям за помощью, то, что мы уже сами написали "в конфиге" - уже сами плохо разбираемся, если честно - пытались блокировать по IP
---------- Добавлено 08.11.2013 в 04:51 ----------
Это что такое? Он какбэ по-русски не понимает :)
поняла)) это уже мозги поехали от логов )) сейчас исправлю, спасибо