- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
чего то торкнуло этого товарища
Crawl-delay: 10 в robots.txt не реагирует
идет примерно 2 запроса в секунду
хочется в нгикс жестко ограничить
http{
...
limit_req_zone $binary_remote_addr zone=two:10m rate=6r/m;
...
server {
...
location{
...
if ($http_user_agent ~* (bingbot|Googlebot|YandexBot)){
limit_req zone=two burst=12;
}
}
}
}
но нгикс не воспринимает такую конструкцию
как ограничить количество запросов ботов используя допустим юзер-агент?
P.S. Andreyka так статью и не выложил /ru/forum/787626
С помощью директивы map устанавливайте значение переменной используемой в limit_req_zone
Что то вроде этого.
map $val $val_key {
0 '';
1 $binary_remote_addr;
}
limit_req_zone $val_key zone=lphp:10m rate=1r/s;
я не думаю что это хорошая идея (это приведет к ошибкам сканирования сайта)
в центре вебмастеров (или как там оно сейчас называется) https://www.google.com/webmasters/tools/settings?hl=ru&siteUrl=http://yoursite.com/ можно установить скорость сканирования сайта гуглоботом (раньше лично я так делал - нормально работало)
ValdisRu он и robors.txt должен учитывать, приходится жестко ограничивать
проставил в гугл-вебмастер 0.1 запроса в секунду, посмотрим отреагирует ли
zexis спасибо, нашел статью с аналогичным примером
kgtu5, отключите сайт от интернета. Зачем вам посетители на нем, они же ресурсы жрут своими просмотрами. А поисковый трафик вообще зло..
{сарказм}
crawl-delay в robots.txt
megadimon, читаем 1й пост внимательно
ди а в инструментах проверки robots.txt гугловебмастера четко написано:
ixep, смешно 😡
/ru/forum/787626
Как разгребусь с насущными проблемами - выложу статью как это делать.