Кэширования курл запросов там неоткуда быть.
ПС. Это разве не кеш?
echo give_file(dirname(__FILE__) . '/audio/232.mp3');
curl_setopt ($ch, CURLOPT_USERAGENT, 'Parser 1.0');
Хорошо последние, а может быть пользователю интересны не только последние 5? Или вы собрались делать пагинацию строго в категории?
Disallow: /page/
Найти
RewriteRule ^user/([^/]*)/news/page/([0-9]+)(/?)+$ index.php?subaction=allnews&user=$1&cstart=$2 [L]
Заменить на (или закомментировать предыдущую и добавить выше)
RewriteRule ^user/page/([0-9]+)(/?)+$ index.php?subaction=allnews&user=admin&cstart=$1 [L]
Просто /page/1/ нельзя, потому что это пагинация новостей.
Вопрос. А зачем выводить только последние пять новостей? Это не удобно во первых с точки зрения юзабилити, во вторых создает затруднения индексации.
Эту строчку, и два предыдущих правила связанные с ней лучше убрать, если вы точно не знаете для каких целей и каких ссылок она там стоит.
UPDATE+REPLACE еще не отменили.
Например фильтрация по рефереру и/или юзер-агенту.
"Правильные заголовки" большое влияние на принцип работы директив роботс не оказывают. А в ФАК говорится, что по умолчанию в конце подразумевается любое количество символов. Т.е. в регулярном представление
Disallow: /folder/ соответствует /folder/.*
Disallow: /folder/$ соответствует /folder/$
Disallow: /folder/*.html соответсвует /folder/.*\.html.*
Disallow: /*/folder/ соответсвует /.*/folder/.*
В гугле как и в яндексе есть валидатор роботс
Это всецело проблемы программиста. У него в скрипте утечка память, без разницы по какой причине, из-за исключений, кривых настроек сервера или тупо переполнения память в каком-то зацикливающимся цикле. Почему админ должен разбираться в его коде, если сам программист не может в нем разобраться? И наоборот, программист выявляет причину, и если она связана с настройками сервера указывает администратору. Но я конечно не спорю, что программист и администратор сервера может быть в одном лице. Просто ТС-у наверное стоило бы четко указать в каких областях должен разбираться человек: серверные языки такие и такие, администрирование такое и такое и тд.
