Не получается закрыть некоторые урлы через Robots

Str256, при этом выдается: "Проверка невозможна, так как имя хоста не было указано"

terrell добавил 21.12.2010 в 23:39

Seo-Seo, ссылки ставить на них не планирую, а появляться они думаю врят ли будут в общирном количестве, потому как это речь об интернет магазине, думаю сами понимаете, что люди сейчас жопятся на ссылки, особенно если сайт коммерческий, поэтому много ссылок - это врят ли, но хочу закрыть каталог, потому как изменить именно описашки товаров нет возможности, но неуник контент поисковикам не нужен... Т.е, я могу лишь остальной контент поменять, кроме каталога, поэтому и хочу закрыть... А то, что ссылок много появится - ну очень уж сомневаюсь...

Блин, ну так укажите в верхней строчке хост, я например указывал www.domen.ru раз он был в ваших ссылках указан. Сравнивается же с этим. Что вы как маленький ребёнок, на пустом месте себе трудности создаёте.

Указал, действительно выдает, но дело в том, что урлы в индексе все равно появляются (сайт только выложил в индекс), как такое может быть... Т.е. запрет я поставил и значит запрет правилно стоит, но урлы эти продолжают индекситься... Вот в чем фигня и именно поэтому топик завел...

terrell добавил 21.12.2010 в 23:56

Словом ощущение, что этот роботс не работает просто... Хотя сейчас приходим к тому что вроде как все правильно прописал... А урлы продолжают индекситься...

Может реальный роботс отличается от того, что я написал? Что у вас там, за:

Короче давайте ссылку на реальный сайт, а не придуманный. Можно в личку.

Делайте вот так;

User-agent: *

Disallow: /315*

Art74, можете объяснить, нафига звездочка на конце? :)

terrell, я надеюсь, вы понимаете, что после изменений в robots.txt ничего не изменится ни через час, ни через сутки, ни через трое суток?

Ну почему же не изменится ничего. После следующей считки файла роботов (а читается он, как правило достаточно часто), робот перестанет ходить по указанным запретам.

2Автор: а чего не удалите страницы из поиска через форму быстрого удаления

Kost, конечно, я не ожидаю, что сражу изменения вступят в силу, просто после прописки того роботса, что я выложил уже появились в индексе новые урлы, которые вроде как не должны попасть в индекс, потому как закрыты в роботсе... После этого собственно и был создан уже топик, я просто подумал, что походу не так чего-то делаю, но тем не менее в топике приходим к тому, что вроде как все так...

Остатется только полагать, что робот сразу обошел весь сайт, но не сразу появились результаты его обхода, а теперь выкладываются результаты его обхода но постепенно, будто бы как он несколько раз уже после этого зашел, а на самом деле выкладываются результаты его прошлого обхода, вот это возможно может быть...

После запрета, запрещенные в нем страницы еще могут залетать в индекс, пока ваш файлик не скушает пс.

Бывает и до месяца тянется, но как правило 1-2 апа.

Из ЯВМ Использование robots.txt:

По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*', например:

User-agent: Yandex

Disallow: /cgi-bin* # блокирует доступ к страницам

# начинающимся с '/cgi-bin'

Disallow: /cgi-bin # то же самое

всегда делаю со звездочкой, не знаю почему но этот вариант мне нравиться и судя по сайтам работает.