melihovgv: Disallow: /news/part
При учете, что сайт отдает правильные заголовки и т.д.
"Правильные заголовки" большое влияние на принцип работы директив роботс не оказывают. А в ФАК говорится, что по умолчанию в конце подразумевается любое количество символов. Т.е. в регулярном представление
Boris A Dolgov: А там оказывается, что у программиста в самопальном классе для работы с файлами при ошибке выкидывается исключение, а необработанное исключение с помощью самопального класса пишется в самопальный лог-файл. Когда лог-файл не может открыться -- получаем рекурсию и либо сегфолт, либо out of memory, либо memory limit exhausted. Разумеется, программист будет до последнего утверждать, что проблема в настройке сервера, а то, что лог открывается в d:\\tmp.log -- никому не важно.
Это всецело проблемы программиста. У него в скрипте утечка память, без разницы по какой причине, из-за исключений, кривых настроек сервера или тупо переполнения память в каком-то зацикливающимся цикле. Почему админ должен разбираться в его коде, если сам программист не может в нем разобраться? И наоборот, программист выявляет причину, и если она связана с настройками сервера указывает администратору. Но я конечно не спорю, что программист и администратор сервера может быть в одном лице. Просто ТС-у наверное стоило бы четко указать в каких областях должен разбираться человек: серверные языки такие и такие, администрирование такое и такое и тд.
Хотя у меня Drupal 7 стоит, весь код парсера - это есть модуль к нему. Там же вроде есть кеширование по дефолту?
Кэширования курл запросов там неоткуда быть.
ПС. Это разве не кеш?
echo give_file(dirname(__FILE__) . '/audio/232.mp3');
curl_setopt ($ch, CURLOPT_USERAGENT, 'Parser 1.0');
например выводится будут последние фото рецепты и видео рецепты
Хорошо последние, а может быть пользователю интересны не только последние 5? Или вы собрались делать пагинацию строго в категории?
как убрать эти ненужные ссылки из индекса и сайта
Disallow: /page/
Найти
Заменить на (или закомментировать предыдущую и добавить выше)
Просто /page/1/ нельзя, потому что это пагинация новостей.
Вопрос. А зачем выводить только последние пять новостей? Это не удобно во первых с точки зрения юзабилити, во вторых создает затруднения индексации.
Эта строчка (если я правильно! понял из всех найденных рекомендаций) вроде как за дубли страниц отвечает...
Эту строчку, и два предыдущих правила связанные с ней лучше убрать, если вы точно не знаете для каких целей и каких ссылок она там стоит.
а статейки в SQL базе то тогда чё делать ? может запрос какой можно сбацать ?
UPDATE+REPLACE еще не отменили.
Как это?
Например фильтрация по рефереру и/или юзер-агенту.
Disallow: /news/part
При учете, что сайт отдает правильные заголовки и т.д.
"Правильные заголовки" большое влияние на принцип работы директив роботс не оказывают. А в ФАК говорится, что по умолчанию в конце подразумевается любое количество символов. Т.е. в регулярном представление
Disallow: /folder/ соответствует /folder/.*
Disallow: /folder/$ соответствует /folder/$
Disallow: /folder/*.html соответсвует /folder/.*\.html.*
Disallow: /*/folder/ соответсвует /.*/folder/.*
В общем, посмотрим, что гугл скажет когда новый роботс увидит...
В гугле как и в яндексе есть валидатор роботс
А там оказывается, что у программиста в самопальном классе для работы с файлами при ошибке выкидывается исключение, а необработанное исключение с помощью самопального класса пишется в самопальный лог-файл. Когда лог-файл не может открыться -- получаем рекурсию и либо сегфолт, либо out of memory, либо memory limit exhausted. Разумеется, программист будет до последнего утверждать, что проблема в настройке сервера, а то, что лог открывается в d:\\tmp.log -- никому не важно.
Это всецело проблемы программиста. У него в скрипте утечка память, без разницы по какой причине, из-за исключений, кривых настроек сервера или тупо переполнения память в каком-то зацикливающимся цикле. Почему админ должен разбираться в его коде, если сам программист не может в нем разобраться? И наоборот, программист выявляет причину, и если она связана с настройками сервера указывает администратору. Но я конечно не спорю, что программист и администратор сервера может быть в одном лице. Просто ТС-у наверное стоило бы четко указать в каких областях должен разбираться человек: серверные языки такие и такие, администрирование такое и такое и тд.