http://ru.wikipedia.org/wiki/Стандарт_исключений_для_роботов
Crawl-delay: устанавливает время, которое робот должен выдерживать между загрузкой страниц. Если робот будет загружать страницы слишком часто, это может создать излишнюю нагрузку на сервер. Впрочем, современные поисковые машины по умолчанию задают достаточную задержку в 1-2 секунды.
User-agent: *
Crawl-delay: 10
Crawl-Delay не помогает?
Ничего не бывает.
А вообще этот sitemap кому-то нужен?!
ну явно там не будет 3-и стоять :)
ИМХО не реал.---------- Добавлено 29.07.2012 в 20:41 ----------А не, всё ок, есть такая вот фигня.
function substr_html($string, $length)
{
$count = 0;
/*
* $state = 0 - normal text
* $state = 1 - in HTML tag
* $state = 2 - in HTML entity
*/
$state = 0;
for ($i = 0; $i < strlen($string); $i++) {
$char = $string[$i];
if ($char == '<') {
$state = 1;
} else if ($char == '&') {
$state = 2;
$count++;
} else if ($char == ';') {
} else if ($char == '>') {
} else if ($state === 0) {
}
if ($count === $length) {
return substr($string, 0, $i + 1);
return $string;
Пример текста в HTML будет или гадать на кофейной гуще?
Кто к вам должен прийти? бабайка?
Это обязательно так? Иначе в алгоритме не может быть? 😂
Обмана кого? И в чём суть обмана?
Ну, наверное, тут главное ЗАКОН. Если вы получаете прибыль, должны платить налог. Не платите? Вы преступник по закону.
Можно и так.