Подпишитесь не на имя, а на ссылку. Тогда всё будет пучком. А имя не показатель, оно и в тексте может встретитя.
Нет не сработает. Следует писать:
Disallow: /forums/index.php/u/
Иначе ты запрещаешь то, что находится (может находиться) в корневом каталоге.
А робот об этом знает? Да ему плевать, он по ссылкам ходит а не по дереву каталогов.
Нет не запретит. А robots.txt только в корень и кладется.
Если вам лизнули, не расслабляйтесь. Возможно, что это смазка... :D
Сделать страницу со списком новых урлов и скормить её поисковику для ускорения индексации.
После того как проиндексирует, запретить старые урлы в robots.txt
Для ускорени удаления воспользоваться соответствующей формой.
wolf,
Дык я это и имел в виду написав "которые были (или могли быть) проиндексированы основным роботом. Хотя не факт, что зеркальщик полезет на домен, закрытый robots.txt отличным от того, что расположен на главном зеркале.
Например, создаем новое зеркало. Закрываем его полностью в robots.txt Спрашивается, с какого туда попрется хоть какой ни будь робот, если он об этом домене ничего не знает.
Ладно, положим индексатор нашел ссылку на наше новое зеркало. Он идет по ней (именно индексатор) но встречает запрет и сруливает. С какого перепою туда попрется зеркальщик? Просто посмотреть? Это ведь просто некий сайт закрытый через robots.txt И всё.
Другое дело, если robots.txt на данном сайте имеет дерективу host. В этом случае, зеркальщик действительно может пойти на сайт, но только на те страницы, которые индексатор брал с главного зеркала руководствуясь robots.txt То есть получается, что зеркальщик не попадет в разделы закрытые через robots.txt на главном зеркале.
В общем да, но с оговоркой. Либо он может проверить страницы которые были доступны раньше, до создания запрета (в этом уверенности нет), либо зеркальщик будет игнорировать запреты создаваемые нестандартным расширением host.
Полагаю, что если на неглавном зеркале robots.txt отличается полным запретом на индексацию от robots.txt на главном и не содержит дерективы host, то никакой робот (включая зеркальщика) туда не полезет. Господин melkov, прокомментируйте, пожалуйста.
Уговорить Кеву и VS включить обработку дерективы host. Или хотя бы добиться от них комментариев :)
euhenio, я так понял, что зеркальщик ходит толко на страницы, которые были (или могли быть) проиндексированы основным роботом. Поскольку основной соблюдает robots.txt то и у зеркальщика проблем не будет.
В первой цитате нет прямого утверждения. Всё! Знак вопроса снимает проблему, как я писал выше. Это не клевета и не обвинение. Это предположение.
Пример: реклама по ТВ. тра-та-та - пожалуй лучшее пиво в мире.
Согласно ст. 7 ФЗ “О рекламе ” недостоверной является реклама, в которой используются термины в превосходной степени, в том числе слова “самый”, “только”, “лучший”, “абсолютный”, “единственный” и тому подобных, если их невозможно подтвердить документально.
Использование слова "пожалуй" позволяет обойти данную статью. Вместо утверждения есть предположение. Юристы конкурентов нервно курят и потеют ладошками, но сделать ничего не могут.
А если есть скриншоты. Может быть есть и заверенная у юриста копия. В любом случае, если убрать прямые формулировки, то не будет возможности построить обвинения.
ostmaster, несмотря на покаяние, я бы оставил материалы в черном списке без изменеий. Может быть только слегка смягчив формулировки и изменив время на прошедшее. Снять материалы можно только в обмен на серьёзную компенсацию, например ссылки со всех страниц пожизнено :)
У меня такое мнение потому, что труд на создание черного списка не адекватен покаянию и исправлению сайта со стороны вора.
