Reise: У меня все они и со сниппетами и с кешами. Индексируются как обычный страницы не смотря на запреты в роботсе.
Тогда либо у вас проблемы с роботсом, либо бот посещал страницы до того как появился запрет на индексацию. Раз уже попали в индекс придется ждать. Со временем они выпадут. За "день" они точно не исчезнут. Недели две стабильно продержатся, смотря как часто бот посещает сайт.
Но по правилам гугла, адреса закрытые роботсом если на них стоят много ссылок, особенно внешних, могут появится в серпе без сниппета и кэша. Но этого ничего не значит.
Клин клином вышибают. Угрожайте и вы ему что заспамите все самые ГСы его сайтом. Скажите что не пожелаете 300 руб заплатить любому школьнику который сделает "отличный прогон по каталогам"
Reise: Если припустить что /films/fantasy/torrent/ физический каталог на диске, в котором находятся файлы, то да - его закрывать нету смысла, так как индексируется не каталог, а файлы.
Индексируется не каталог и не файлы, индексируется урл. Вот этот урл, по маске или полностью, и запрещается к индексации. И не важно, результат он реврайтов сервера или реально физический файл (каталог) на диске.
Reise: Поэтому может иметь место необходимость закрыть от индексации именно этот документ, не закрывая остальные, путь которых начинается так же.
Вы отклоняетесь от первоначальной задачи.
/films/fantasy/torrent/ это тоже самое что и /films/fantasy/torrent/*
Reise: Если ее не надо (не знаю даже кто такое придумал ), то как отличить скажем /films/fantasy/torrent/ от /films/fantasy/torrent/123-avatar.html?
ТС, зачем отличать? Стандарт роботс-а читали? /films/fantasy/torrent/ по умолчанию запрещает все его содержимое включая файлы. Это еще с основа основ. Звездочка придумана для динамичных ссылок, где нужно было закрыть по параметрам ссылок, часть которой была динамичной и не позволяла прописать абсолютный ури.
У меня все они и со сниппетами и с кешами. Индексируются как обычный страницы не смотря на запреты в роботсе.
Тогда либо у вас проблемы с роботсом, либо бот посещал страницы до того как появился запрет на индексацию. Раз уже попали в индекс придется ждать. Со временем они выпадут. За "день" они точно не исчезнут. Недели две стабильно продержатся, смотря как часто бот посещает сайт.
Да, эту тему следовало бы создать в разделе яндекса на радость Биталжуса.
Да, действительно, отклоняюсь... Но вопрос не в "изучать" - вопрос в другом - гугл игнорирует robots.txt и непонятно как с этим бороться.
Где игнорирует?
/+inurl:newreply.php&sourceid=opera&ie=utf-8&oe=utf-8
Но по правилам гугла, адреса закрытые роботсом если на них стоят много ссылок, особенно внешних, могут появится в серпе без сниппета и кэша. Но этого ничего не значит.
RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule ^([^.]+)(?<!/)$ /$1/ [R=301,L]
вставить в самом начале, после r-egine или r-base
Клин клином вышибают. Угрожайте и вы ему что заспамите все самые ГСы его сайтом. Скажите что не пожелаете 300 руб заплатить любому школьнику который сделает "отличный прогон по каталогам"
Не только за понты. Хотя я так понимаю вы не оптимизатор?
А за что еще? +10 руб к ссылкам в сапе?
Если припустить что /films/fantasy/torrent/ физический каталог на диске, в котором находятся файлы, то да - его закрывать нету смысла, так как индексируется не каталог, а файлы.
Индексируется не каталог и не файлы, индексируется урл. Вот этот урл, по маске или полностью, и запрещается к индексации. И не важно, результат он реврайтов сервера или реально физический файл (каталог) на диске.
Поэтому может иметь место необходимость закрыть от индексации именно этот документ, не закрывая остальные, путь которых начинается так же.
Вы отклоняетесь от первоначальной задачи.
/films/fantasy/torrent/ это тоже самое что и /films/fantasy/torrent/*
Reise, действительно, поизучайте RTFM.
Если ее не надо (не знаю даже кто такое придумал ), то как отличить скажем /films/fantasy/torrent/ от /films/fantasy/torrent/123-avatar.html?
ТС, зачем отличать? Стандарт роботс-а читали? /films/fantasy/torrent/ по умолчанию запрещает все его содержимое включая файлы. Это еще с основа основ. Звездочка придумана для динамичных ссылок, где нужно было закрыть по параметрам ссылок, часть которой была динамичной и не позволяла прописать абсолютный ури.
/showthread.php?t=*&page=
/*&page=
"страницы и файлы page.html/ -> page.html" (написано 1м посте)
- тут про файлы и хотел написать
RewriteRule ^(.+\.html)/+$
замените на
RewriteRule ^(.+\.[^/]+)/+$
Регулярка у gormarket тоже рабочая, так что если работать не будет, капайте htaccess или ищите проблему в настройках сервера
и дефис экранировать надо
Как раз в конце класса не обязательно экранировать