Autodor.Wmsn - дорген, генератор дорвеев на php.

Думаю,будет полезно в корневой htaccess добавить параметр Options All -Indexes

А в папку keys закинуть htaccess, прописав

<Files "*.txt">

deny from all

</Files>

У меня на впс Intel(R) Xeon(R) CPU E5-1650 v2 @ 3.50GHz 3500.048 Mhz X 3 3гб памяти, XEN виртуализация. Около 30 доров на 60000 ключей каждый, 2ва или 3ри с разрастанием. ВПС загибается. Судя по всему дисковая система не выдерживает. Хотя диск SSD. Думал дело в ВПС, на старом висело 90 сайтов с такими же объёмами страниц, но до поры до времени. Потом в один день ВПС упал и не поднялся, тех поддержка ни чем не помогла, хотя тоже грешила на насилование файловой подсистемы.

Перешёл на новый ВПС, перетащил трафиковые доры по началу всё работало как часы, теперь третий день работает на пределе, периодически падает. Куда копать, не знаю, судя по top висят куча процессов в ожидании. Подскажите, люди добры :)

PS: Напился ибо мозги дымят.

yurii-angel, для снижения нагрузки:

1) убрать из шаблона ссылку на поиск по дору (Tags которые)

2) в конфиге запретить индексацию поиска ($sindex = '0')

3) в хтасес (или в nginx) внести список ненужных ботов для бана (взяв актуальный список из архива из хтасесса с последней версией), если ру доры, то дополнительно туда добавить bingbot и msn.

4) max-keep-alive (или как он там в апаче называется) уменьшить до 5.

Проделав это нагрузка должна заметно упасть.

1) Убрал давно.

2) попробую

3) Давно сделано

4) давно сделано

Хотелось бы преложить ТС соорудить функцию удаления страниц которые длительное время не посещаются юзерами из ПС. Нахрена они нужны? Лишняя нагрузка от ботов при проходе дора и жрут место на диске.

Мониторинг и ведение логов посещений создаст больше нагрузки, чем просто "лишние" страницы.

а если просто добавлять в БД дату последнего посещения? а скрипт запускать по крону, например, раз в неделю?

и сколько ждать до первого удаления? + некоторые поисковики изза https вообще в реферрере не отображаются.

1) хз, но мне не особо нужны страницы которые не запрашивались ни разу за месяц

2) вродеж запрос не отображается, а откуда переход видно?

Tecak, хз насколько оно видно, но лайфинтернет немерянное количество "из закладок" показывает, а кроме как с поисковиков часто трафа и быть не может.

Нагрузку такая доработка создаст лишнюю, потому что сейчас:

запрос к странице, запрос к базе, получение и отдача контента.

а будет: тоже самое + update даты захода + delete если так никто и не пришел + куча проверок, ну и потом еще и вакуум базы не мешало бы делать, чтоб размер базы уменьшить.

Если боты на страницу уже приходили - они на нее еще год долбиться будут периодически, даже если ее не будет существовать уже.