Говноботы

bolyk, какое железо понадобится для Thunder'а в 100 доменов по 100к страниц, к примеру? Понятно, что от удачливости зависит, но предположим, что траф есть, боты носятся, как угорелые, короче дорвеи удались.

1 GB RAM 20 GB SSD 1 ядро CPU - в среднем 40 доменов по 10к страниц на файлах.

По замерам держит ~ в 6 раз больше чем Thunder 2х(и конкуренты) на той же конфигурации.

Пару человек тестируют кеш в Редис и Мемкеш. как только будут какие результаты, я отпишусь в соответственной ветке.

Это детские тепличные условия, да и диски быстрые. Хардкор давай - дорвеи на калькуляторах.

Больше спамить не буду, прошу простить, есть тема на форуме для обсуждения.

По делу: проверил логи небольшой пачки доров(РУ), мусорных ботов, в районе 2-3%. Хз, стоит ли вообще их фильтровать.

есть статьи толковые как nginx настроить поставить? нагрузка куюзка и тд

дин(амический)дор

Пропустили одного злобного уродца-бота - Ahrefs. В сотни потоков гаденыш шпарит.

Он довольно полезный. Потом ссылки на свои доры через Ahrefs удобно мониторить.

А как это относится к сканированию самого дора? Если мониторить ссылки на дор, то зачем бота пускать парсить сам дор? Пусть парсит те домены, где эти ссылки стоят. Да и не пользуюсь я ахрефсом, только конкурентам палить мои сетки.

У меня как раз ссылки на доры размещены с других таких-же доров, которые в индексе уже. Все перелинковано, короче. Так что ахрефс не закрываю. Помимо поискового трафа есть хорошая доля трафика с межсайтовых переходов. Особенно на старых дорах, которым год и более. И что интересно, этот трафик хорошо конвертится на партнерках. Сначала думал, что это боты и некоторые домены старые не продлил, они в Гугле забанены и трафа мизер с поиска. Тут-же упал выхлоп с партнерок. Сейчас продлеваю даже домены в бане которые. На них до 400 посещений в сутки. За счет межсайтовых переходов.