Приходит робот Яндекса и валит сайт. Посоветуйте, что сделать!

1. Кешируйте контент.

2. Оптимизируйте кол-во обращений к БД.

3. Меняйте сервак хостинга, т.к. может сервер уже перегружен.

4. Запрещайте боту физически доступ через обращение.

5. Напишите письмо в сапорт.

Вынесите контент из БД, либо кэшируйте его. А выделенный сервер на большом объеме БД не всегда даст положительный результат.

Перегнать весь сайт в статику + SSI.

И никаких БД =)

Ну разве только при генерации статики.

Кстати её можно и на локальном компе генерировать и заливать по ftp.

Если сайт оптимизирован-переоптимизирован, то киньте ссылочку на Вашего хостера, плиз!

По ходу дела менять его надо, имхо.

Это взаимоисключающие вещи. Что-то вы говорите не то.

Что, в Вашем понимании, валит?

- дает запрос к странице и долго висит на ней?

- пытается тянуть слишком много страниц сразу?

- перегружает сервак количеством сессий?

- вешает базу?

Как варианты решения:

1. Походите по сайту с отключенными куками, ведь робот идет именно так.

2. Проверьте соответствие отдаваемых страниц (именно способу отдачи кадров), стандарту HTTP/1.1. Бот очень критичен.

3. Перепроверьте работу с базой. Том часто бывают глюки у пхп.

4. Попытайтесь составить список страниц, при обращении к которым проблемы.

Статика рулит, отдавайте боту статичный контент и будет вам счастье ;) ИМХО меняйте хостинг.

ИМХО, хостер слабоват, меняйте -)

А вообще, у меня была как-то такая проблемма с базой статей. Правда там не 50К записей, а больше 300К -)

Тоже тормозило сильно. Нашел выход - распилил на разные таблицы. То есть, на каждую рубрику было по таблице. Где то 70 таблиц получилось, но зато все начало летать! -)

generalbox, 50 тысячь записей в базе - это мало. Проверьте правильно ли расставлены индексы в таблицах при помощи explain.

1. Перво наперво проанализировать сайт и оптимизировать скрипты на скорость. Поверьте, нет предела совершенству. Вам может казаться, что 0.1 сек исполнения скрипта это очень хорошо, но придет другой спец и поднимет эту планку до 0.03.

2. Использовать кеширование наиболее часто встречающихся запросов.

3. Не нужно все перегонять в статику, особенно если сайт динамично изменяется. Достаточно динамику выдать за статику и правильно выдавать заголовки, чтобы боты не жрали неизменный контент заново. Прочитайте про if-modified-since и last-modified и что они дают для правильной выдачи ответа сервера.

/ru/forum/6620

вот еще статья про защиту от недобросовестных качалок http://www.leekillough.com/robots.html

4. Не запрещайте ботов Яндекса! Это равносильно кусанию кормящей руки. Не они плохие, сайт плохой.

5. Что касается хостера, то ищите лучшего, менее требовательного и менее нагруженного.

в mysql есть индексы?

используете connect или pconnect?

скорее на первых порах такое будет, т.к. робот находит много новых страниц,

и полюбил, типа как на новостных сайтах...

после, когда все проиндексит - пореже будет, но и в зависимости от кол-ва обновлений...

вообще хостинг, может, голову морочит еще...