Караул! Боты сожрали 90 гигов трафика

Думаю, что для начала нужно уточнить какой именно бот (боты) наиболее активные и «прожорливые».

Кроме того, будет не лишним, если Вы уточните примерное количество страниц на Вашем сайте, или выложите здесь урл.

На meta name="Revisit-After" content="1 days" боты давно не обращают внимания.

Одна из рекомендаций для больших сайтов - правильно отдавать дату последней модификации документа Last-Modified и обрабатывать If-Modified-Since.

Надеюсь, что урл не сочтут рекламой:) www.shashki.com

По содержанию сайта надеюсь видно, что это некоммерческий проект.

Вы пишите - "правильно отдавать дату последней модификации документа Last-Modified и обрабатывать If-Modified-Since". А можно для чайника попроще ? Я - шашист, а не программист ... к сожалению.

Вот десятка самых прожорливых ботов. Сорри, табличка кривовато выглядит.

Top 10 of 14539 Total Sites By KBytes

# Hits Files KBytes Visits Hostname

1 862957 28.85% 571979 32.93% 43564495 49.05% 23731 14.31% ws-int000.yandex.ru

2 126800 4.24% 89515 5.15% 5769706 6.50% 9012 5.43% crawl-ru-81-222-146-31.webaltabot.com

3 110626 3.70% 82010 4.72% 5577155 6.28% 4556 2.75% sfront2-037.yandex.ru

4 110333 3.69% 81371 4.69% 5463986 6.15% 4451 2.68% sfront56.yandex.ru

5 40430 1.35% 30741 1.77% 2021285 2.28% 3599 2.17% crawl-ru-81-222-146-132.webaltabot.com

6 40508 1.35% 31023 1.79% 1777232 2.00% 19 0.01% crawl-66-249-72-164.googlebot.com

7 24405 0.82% 17388 1.00% 1248360 1.41% 36 0.02% spider1.mail.ru

8 24966 0.83% 18726 1.08% 983771 1.11% 8 0.00% crawl-66-249-66-243.googlebot.com

9 17523 0.59% 12396 0.71% 692143 0.78% 6 0.00% crawl-66-249-72-203.googlebot.com

10 15224 0.51% 10630 0.61% 587568 0.66% 15 0.01% crawl-66-249-65-236.googlebot.com

Alkand, если есть необходимость, то можно закрыть от индексации сайты для некоторых ботов.

Сорри за может быть тупой вопрос. Если закрыть сайт от индексации ботами яндекса и гугла, то это то же самое, что убрать сайт из их каталогов ? Или я туплю ?

Вроде не хочется уходить из каталогов поисковиков, хотя пользы от этого никакой не извлекаю. Только чувство "морального удовлетворения".

Вы пишете "сайты" ... Это опечатка ? У меня всего один сайт. Есть еще старый, www.draughts.ru я его вообще ручками делал. Остался просто как "памятник истории":)

Да, опечатался. Закрыть от индексации ~ лишится поискового трафа (если он есть), каталоги тут ни причем.

ага :)) особенно по наличию бегуна видно, что проект некоммерческий 😂

По сабжу. Вы определитесь что для Вас важнее: посетители с ПС, либо траф, который кушают боты :)

Alkand, тут выход на мой взгляд простой - перейдите на какого-нить из крупных провайдеров, платите спокойно - 10-20$ в месяц и ни о чём не думайте.

Я бы с удовольствием. А не посоветуете ли кого-нибудь. Если это не офф.

Alkand, отписался в личку, чтобы не делать рекламу тому хостингу, кому она уже не нужна :) Ибо - хороший и удобный на мой скромный взгляд 🚬

Яндекс бот насчёлкал 571979 документов на сайте про шашки - это действительно так?

Может быть куча cтраничек генерируется динамически, и всё что содержит это сообщения например о том, что файл не найден без выдачи 404 ошибки.

Попробуйте проанализировать какие документы запрашиваются с сайта и что больше весит.