А где такие настройки, недавно в ПП - не вижу...
Варез: фильмы, игры, софт.
Кто какие платники ставит?
Народ, подскажите на каких платниках конверт на ПП лучше, да и какие цены ставить?
Это не так. Гугл успешно продолжает набирать в индекс страницы вида /photo-id хотя в роботсе правило:
Кстати страницы вида */torrent/* исчезли с индекса. Пока что вижу, что панацея в метатеге <meta name="robots" content="noindex" />. Именно после его установки на страницы вида */torrent/* они выпали с индекса - причем за 1 день.
Попробую установить этот метатег на страницы вида /photo*. О результатах отпишу.
Ну в приведенном примере не игнорирует, в моем случае игнорирует.
У меня все они и со сниппетами и с кешами. Индексируются как обычный страницы не смотря на запреты в роботсе.
Нет никаких ссылок извне - есть только ссылки изнутри сайта - служебные страницы с дублями контента, которые не нужно индексировать. Только не надо сейчас говорить - не ставьте таких ссылок. К примеру раздел галерея изображений - это полезно пользователям, но с точки зрения ПС это все частичные дубли, причем в громадном количестве и их не нужно индексировать.
Вообще-то если быть точным, индексируется документ, а урл - это всего лишь его адрес.
Да, действительно, отклоняюсь... Но вопрос не в "изучать" - вопрос в другом - гугл игнорирует robots.txt и непонятно как с этим бороться.
Вы правы, но лишь отчасти.
Если припустить что /films/fantasy/torrent/ физический каталог на диске, в котором находятся файлы, то да - его закрывать нету смысла, так как индексируется не каталог, а файлы.
Но есть одно НО: в современной тенденции правил реврайтов для веб-серверов /films/fantasy/torrent/ - это может быть не классический каталог (физически его нет, он формируется виртуально движком сайта), а раздел сайта, который показывается как отдельная страница, то есть является документом. Поэтому может иметь место необходимость закрыть от индексации именно этот документ, не закрывая остальные, путь которых начинается так же.
Тем не менее вопрос остается открытым. Я пока заинтересовался метатегом: <meta name="robots" content="noindex" />. Попробую его заюзать - посмотрим что это даст.
Да, именно так.
Ну вообще-то, даже там
Так что все правда - индексируются, и гугл это не отрицает.
Другой вопрос как с этим бороться...
Сейчас такой:
---------- Добавлено 01.02.2012 в 22:50 ----------
естественно не подходит, потому что
ну вообще-то как всегда - любые символы, не разве?
Если ее не надо (не знаю даже кто такое придумал :)), то как отличить скажем /films/fantasy/torrent/ от /films/fantasy/torrent/123-avatar.html?
Самое смешное, что по яндексу выдается , что запрещен:
, при этом правило то без звездочки в конце, то есть: Disallow: /*/torrent/
По гуглу повторюсь - страницы уже полезли в индекс. Добавлю я пока звездочку в конец.---------- Добавлено 01.02.2012 в 18:21 ----------И все таки выяснил что гугл игнорирует правила robots.txt. На сайте есть урл-ы вида
в robots.txt стоит правило:
И при этом данные страницы прекрасно индексируются.
Что делать?
Правило Disallow: /*/torrent/ таки не работает. Страницы типа /films/fantasy/torrent/123-avatar.html полезли в индекс гугла.
