Ощутимо легче стало уже после рестарта сервиса. Он 3 месяца в аптайме был, и id коннекшнов уже перевалило за 10 млн.
Потом, мы обсудили, что в связи со спецификой самой таблицы, нет никакого смысла держать информацию в рабочей базе... Те кто с ней работают, согласились, что целесообразно забирать это все на локальную машину и там уже делать все, что угодно, не напрягая основной сервер. Соответственно:
select * into outfile ...
Затем
delete ...
соответствующую часть.
Я думаю, что дело даже не в том, что инфа ушла. Просто время выполнения INSERT действительно пропорционально размеру таблицы. Т.к. вставка идет всегда в конец таблицы. Вобщем, если разбить на 10 таблиц или просто всю инфу вылить в другую таблицу, менее активно используемую, в той же базе - должно полегчать.
Да. Проверено. Припарки типа дефрагментации (средствами из набора MySQL) не помогают. А полная проверка и дефрагментация таблицы размером в 1Gb, просто сожрала все ресурсы на 40 минут.
Ну что, господа, похоже, что все наладилось. Дело быдодействительно не в гугле. А в MySQl. Просто сервис был очччччень долго в аптайме и имел очень большую таблицу, в которую постоянно писал. После реорганизации таблицы и перезапуска сервиса все встало на свои места.
Благодарю за посильную помощь.
Спасибо. Посмотрел снифером. )) Сервак отдает страницы целиком. И "Connection: close" тоже говорит.
Тут дело еще более неожиданный оборот приняло. Бот работает по HTTP/1.0, а сервак по 1.1 отвечает.
Прописал в конфиге апача (mod_setenvif.c) строку:
BrowserMatch "^Googlebot/2\.1" nokeepalive downgrade-1.0 force-response-1.0
и, кажется, наступила тишина... Подожду еще пару часов. Может проблема и решилась.
Гм. Спасибо, господа, что путь указали. )) Знать что внутри... Натравлю tcpflow посмотрю, что происходит. Connection вроде не при чем, т.к. глюк все-равно где-то дальше происходит. Уже когда пхп-скрипт начинает к mysql обращаться.
Есть также мнение, что это из-за отдачи скриптами страницы по куску (4Kb). Это, насколько я помню, вообще стандарт для всяких перлов и пхп... Ну, если дополнительных мер не принимать. Так что может паук выгребает первый кусок и считает, что все... Тогда это объяснит повисающие процессы. MySQL пытается выплюнуть результ, а уже некуда.
Вобщем... Ставлю снифер - потом расскажу о результатах.
Кста... Есть люди, которые ЗНАЮТ, что в прикупе... ))) Т.е. что в префе, что в нете "мошенников" хватает.
