siv1987

siv1987
Рейтинг
427
Регистрация
02.04.2009

if( $ip == '127.0.0.1' OR $ip == '127.0.0.2' )

{

header( 'Location: http://newsite/' );

exit;

}

EVGENIY22:
кстати вот стоит почитать

What's the problem?

IP + USER_AGENT

На всех страницах кроме full_story добавить

<meta name="robots" content="noindex, nofollow" />

nofollow или follow уже что нужно

301 редирект можно.

TwistaMen:
и вообще почему такого рода страницы генерируются?

А вообще почему они не должны генерироваться?

http://yandex.ru/yandsearch?text=WPAds

Это почему посещаемость должна упасть иза скрипта баннер-крутилки?.. Может быть вопрос что вы там вставили в ней?

alfalaval:
страниц там несколько тысяч, для всех раньше все учитывалось нормально. с месяц назад начались вот эти траблы при выгрузке новых.

Какой выгрузки? И какие траблы я так и не понял. ^prodazha_slonov\.html$ /php-абракадабра здесь сильно раскрывает суть чпу.

Если какие-то урлы в индексе значит они есть на сайте или стоят ссылки.

Кстати ^prodazha_slonov\.html$ /php-абракадабра [R] - это редирект с prodazha_slonov на /php-абракадабра (флаг R).

inexus:
Есть решение проблемы?

Есть, http://dle-news.ru/price.html

netwind:
парсеры на основе xpath точно медленнее. их сложно начать писать.

да ну, это на регулярках они быстрее что ли? Я бы сказал наоборот парсер на регулярных выражения медленее. А спарсить html на них, конструкцией типа #<div class="post">(.+?)</div># здесь не обойтись, и начинаються километровые выражения. С тем что не каждый в DOMе разберется согласен. ТС явный пример.

RewriteEngine On

RewriteBase /

RewriteCond %{HTTP_HOST} subdomain_1.site.com

RewriteRule (.*) /sub/subdomain_1/$1 [L]

В регулярном выражение примерно будет так

RewriteCond %{HTTP_HOST} ^(?:www\.)?(.+)\.site\.com

RewriteRule (.*) /sub/%1/$1 [L]

User-agent: * # не будет использована роботами Яндекса

Не будет использована если объявлен юзер-агент яндекса, не надо читать между строк.

User-agent: *

Disallow: /cat.php

User-agent: Yandex

Disallow: /index.php

А результат эксперимента таков, что для яндекса index.php будет закрыт, а cat.php нет

Всего: 6568