Kpd: На одном сайте использую Яндекс.xml для поиска по сайту, лимита 1000 запросов в сутки хватает с головой. Недавно посетители начали жаловаться, что поиск сломался. Стал проверять и обнаружил, что бот Mail.Ru/1.0 с дикой скоростью дергает одну и ту же страницу с поисковым запросом (yandex.php?query=запрос). Проверил IP бота - действительно mail.ru-шные.
Для наглядности статистика (дата - количество заходов бота на страницу поиска).
если ещё актуально, то для первого вида могу написать скрипт будет открываться файл , браться весь текст , и запихиваться в базу данных 1файл = 1 новость )
На одном сайте использую Яндекс.xml для поиска по сайту, лимита 1000 запросов в сутки хватает с головой. Недавно посетители начали жаловаться, что поиск сломался. Стал проверять и обнаружил, что бот Mail.Ru/1.0 с дикой скоростью дергает одну и ту же страницу с поисковым запросом (yandex.php?query=запрос). Проверил IP бота - действительно mail.ru-шные.
Для наглядности статистика (дата - количество заходов бота на страницу поиска).
2010-01-22 11
2010-01-23 438
2010-01-26 392
2010-02-06 1153
2010-02-07 2780
2010-02-09 1566
2010-02-11 8452
2010-02-12 14
2010-02-19 4220
2010-03-09 5402
2010-03-11 1706
2010-03-12 7211
Это нормально или как?
З.Ы. Добавил страницу в robots.txt, сегодня бот не появлялся.
ммм ... а не судьба сделать кеширование , и при повторном одинаковом запросе из кеша отдавать страницу ))
юзай дружищь ))
выполнил прогон ТС , прогоном доволен , писем пришло 700++ советую )
если ещё актуально, то для первого вида могу написать скрипт будет открываться файл , браться весь текст , и запихиваться в базу данных 1файл = 1 новость )
заказывал прогон , 5 дней назат писмо на почту не пришло =(( до сих пор
регуляркой воспользуйся ) , у всех файлов расиширение одинаковое ??если да то попробуй вот эту =)
Посмотрел бы логи, как шелл залили, какие права были на этих файлах, если 777, то проблема в двиге, если права 666, были тогда хостера меняй.
возми страви командеру эту папку с двигом и нажми поиск поставь там галочку с текстом впиши туда текст date( и он тебе выдаст файлы соответствующие ))
Возможно конфликт со скайпом.
со скайпом даже скрипт не выполняеться , а ему написали что пароль не подходит =)
а другой нулл не судьба скачать ?? если тебе даже сказали проблему :D