Fomich

вот еще интересный пример - запрос Ахен О, первая позиция - "найден по ссылке"

ссылки по этому запросу есть только внутренние

на странице есть как минимум два вхождения этой фразы

возможно Я как то криво работает с регистром букв в теге noindex

у меня было подобное

где криво написанный php код превращал </noindex> в <новая строка index> - я заменил это хозяйство на </Noindex> и он не нашел закрывающего тега.

Но дело было давно и я мог упустить какие-то детали, но смысл остался

естественно апач генерит все для статики, речь то про phpшки, для них апач ничего не придумывает

неплохо бы еще ETag отдавать для полного соблюдения протокола if-modified

вот мой код для примера

ob_start(); 

// формирование страницы

......

// генерация хедеров

$content=ob_get_contents(); 

ob_end_clean(); 

$headers=getallheaders(); 

$lastmodified=gmdate('D, d M Y H:i:s',$lastedit).' GMT'; 

$ETag=md5($content); 

header('Content-Type: text/html; charset=windows-1251');

if ($headers['If-Modified-Since'] == $lastmodified && $headers['If-None-Match']==$ETag){ 

  header('HTTP/1.0 304 Not Modified'); 

  header("ETag: \"$ETag\""); 

} 

else{ 

  header('HTTP/1.0 200 OK'); 

  header("Last-Modified: $lastmodified"); 

  header("ETag: \"$ETag\""); 

  echo $content; 

}

этот код проверен на многих сайтах

либо у вас старый апач, который не знает комманды HEAD,

либо люди из Я прописали Вас в скрытый каталог

всем спасибо

будем править

натравлю скрипт на тексты!

жду предложений

мея как раз интересует если не удалять ручками сколько пройдет времени пока Я сам это заметит?

ok

всем спасибо - будем пробовать

а то эти пустые страницы несколько надоели

ЗЫ

через robots Я как быстро понимает что пора страничку из базы выкинуть?

или надо идти ручками говорить ему, а то полгода будет в базе висеть?

в личку плиз адрес