siv1987

siv1987
Рейтинг
427
Регистрация
02.04.2009
EVGENIY22:
кстати вот стоит почитать

What's the problem?

IP + USER_AGENT

На всех страницах кроме full_story добавить

<meta name="robots" content="noindex, nofollow" />

nofollow или follow уже что нужно

301 редирект можно.

TwistaMen:
и вообще почему такого рода страницы генерируются?

А вообще почему они не должны генерироваться?

http://yandex.ru/yandsearch?text=WPAds

Это почему посещаемость должна упасть иза скрипта баннер-крутилки?.. Может быть вопрос что вы там вставили в ней?

alfalaval:
страниц там несколько тысяч, для всех раньше все учитывалось нормально. с месяц назад начались вот эти траблы при выгрузке новых.

Какой выгрузки? И какие траблы я так и не понял. ^prodazha_slonov\.html$ /php-абракадабра здесь сильно раскрывает суть чпу.

Если какие-то урлы в индексе значит они есть на сайте или стоят ссылки.

Кстати ^prodazha_slonov\.html$ /php-абракадабра [R] - это редирект с prodazha_slonov на /php-абракадабра (флаг R).

inexus:
Есть решение проблемы?

Есть, http://dle-news.ru/price.html

netwind:
парсеры на основе xpath точно медленнее. их сложно начать писать.

да ну, это на регулярках они быстрее что ли? Я бы сказал наоборот парсер на регулярных выражения медленее. А спарсить html на них, конструкцией типа #<div class="post">(.+?)</div># здесь не обойтись, и начинаються километровые выражения. С тем что не каждый в DOMе разберется согласен. ТС явный пример.

RewriteEngine On

RewriteBase /

RewriteCond %{HTTP_HOST} subdomain_1.site.com

RewriteRule (.*) /sub/subdomain_1/$1 [L]

В регулярном выражение примерно будет так

RewriteCond %{HTTP_HOST} ^(?:www\.)?(.+)\.site\.com

RewriteRule (.*) /sub/%1/$1 [L]

User-agent: * # не будет использована роботами Яндекса

Не будет использована если объявлен юзер-агент яндекса, не надо читать между строк.

User-agent: *

Disallow: /cat.php

User-agent: Yandex

Disallow: /index.php

А результат эксперимента таков, что для яндекса index.php будет закрыт, а cat.php нет

И ещё я сейчас обнаружил жно у меня файл называется robotstxt.txt а ни robots.txt правильно ли это ?

# 2) Rename the file to 'robots.txt' and move it to your web root (public_html, www, or htdocs)

запретить индексацию профилей

С чпу

Disallow: /user/

без

Disallow: /index.php?showuser=

Всего: 6567