Как умерить апетиты гугля?

123
M
На сайте с 03.03.2004
Offline
43
#11

Cherny, спасибо... то что надо :)

xzero, подозреваю что они тогда начнут выводить только социальную рекламу... а какой в этом смысл ? ;)

Вроде индексация поутихла, можно жить спокойно.

Дневник БоГа (http://www.seriousrevenue.com/). Лента SEO форумов (http://www.seriousrevenue.com/scripts/rubot/). Статистика денег (http://www.seriousrevenue.com/scripts/rate/).
G
На сайте с 20.05.2004
Offline
20
#12
Как писал monstring
Cherny, спасибо... то что надо :)
Вроде индексация поутихла, можно жить спокойно.

А точно Crawl-delay помог? Может бот съел что хотел и отдыхает.

Я в своё время пробовал для Ask Jeeves/Teoma, Яндекса и ещё чего-то - не помогает.

Lor
На сайте с 28.05.2004
Offline
353
Lor
#13

Внедряйте кэширование в скрипты. 🚬

Йопез - форум без модераторов. Даже Гарик уже с нами, а ты? (https://yopez.com)
M
На сайте с 03.03.2004
Offline
43
#14

Crawl-delay работает только для яхи (хотя возможно что неофициально - гугл также его учитывает).

Lor, кеширование - это правильно, но есть вещи где его нельзя применять.

В общем отчасти краул-делай спас (немного), а отчасти (вернее в основном) оптимизация настроек апача\рнр помогла.

AlexHost.RU
На сайте с 08.02.2005
Offline
96
#15

Сложилось впечатление, будто злые пауки гугля целыми днями жрут несчастный сайт автора темы опуская его серваки :)

Если нужно чтобы сайт был в Гугле то хай себе кушает страницы, если Гугль не нужен, то напиши ему об этом записку в robots.txt

Хостинг нннада? Налетай (http://api.alexhost.ru/)! VDS-ки разбирай (http://api.alexhost.ru/ru/hosting/about_service/vds/order/?plan=40)!
B
На сайте с 13.11.2002
Offline
89
#16
Сложилось впечатление, будто злые пауки гугля целыми днями жрут несчастный сайт автора

видимо на вашем хостинге нет серьёзных сайтов...

вот когда захостятся у вас N-ое количество "полюбившихся" гуглю сайтов с 100-500к страницами, а гугля будет на них ходить и делать на каждый по 100 запросов в сек...

тогда вы по другому заговорите...

[Удален]
#17

А точно ли дело только в Googlebot?

Для msn есть ограничение частоты запросов в robots, синтаксис у них на сайте поискать надо.

Плюс много паразитных ботов существует. В частности если еще борьбу с ними не вели - тогда забаньте все китайские ip, желательно на внешнем файрволе.

Если только Google такую нагрузку создал - пожалуй только оптимизировать процесс... Типа mysql на отдельный сервер, mod_accel к апачу прикрутить, статику вынести на отдельный апач с минимумом модулей... в таком духе.

AiK
На сайте с 27.10.2000
Offline
257
AiK
#18
еще кто-то в 20потоков

Можно глупый вопрос? Как насчёт совмещения KeepAlive On и MaxRequestsPerChild 10? Если я правильно понимаю, этот кто-то уже более 10 коннекций не запустит. А обычным юзверям этого хватить должно.

M
На сайте с 03.03.2004
Offline
43
#19

KeepAlive On - лучше вообще вырубить.

вообще правильная настройка сервера под большие обьемы трафика сложная штука,

если кому то интересно, то попозже моего админа могу попросить расписать что там можно оптимизировать.

з.ы. а вообще мы этот вопрос давным давно решили, незнаю почему его вдруг решили поднять :)

G
На сайте с 20.05.2004
Offline
20
#20
Как писал monstring
з.ы. а вообще мы этот вопрос давным давно решили, незнаю почему его вдруг решили поднять :)

Ну, тогда да - о чём тут говорить, если вы уже решили. :)

Так вот вы и расскажите как вы его решили. Потому я и поднял топик, что так как вы сказали - в robots.txt - он не решается.

123

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий