- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Проект атакуют боты! Решит ли проблему закрытие в файле robots.txt?
Какие боты, поисковые? :)
Если нет, то закрытие в роботс не решит проблему ботов.
http://www.htaccess.net.ru/doc/htaccess/order.php - это частично решит проблему.
Choice, конкретизируйте. Атаки бывают разные, соответственно, и способы обороны тоже разные.
Choice, конкретизируйте. Атаки бывают разные, соответственно, и способы обороны тоже разные.
Боты поисковых систем
Боты поисковых систем
Это звучит зловеще и страшно. (ну почти как "мировой заговор")
Конкретика?
Боты поисковиков (которые настоящие) прислушиваются к инструкциям в robots.txt, но лучше оптимизировать сайт, чтобы справиться с нагрузкой, чем замедлить индексацию сайта из-за лимитов в robots.txt
Как бот может атаковать?
Поисковые боты сканируют сайт по своему профилю и в соответствии с правилами, заданными файлом ht... !
Ботам яндекса и гугля можно указать промежуток между сканированием, что были не столь настырны
остальных забанить
Зайдите в вебмастер гугл и поставьте комфортный интервал для поисковых ботов. Для яндекса аналогично вроде бы.
Боты марсияне?
Crawl-delay гугл не понимает, а яндекс (по наблюдениям) не особо выполняет - так что не поможет.
Лимитирование количества запросов спасет, но такие настройки доступны только на впс/сервере.