Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Вопрос по robots.txt

maroccanez
На сайте с 14.07.2007
Offline
36
maroccanez
654

Один сайт использует сложные урлы вида? например

index.php?name=Modul1&op=Fuction&Peremennaya=Znachenie

Мне нужно запретить для индексации всеми ботами урлы типа

index.php?name=Modul1&op=Fuction&Peremennaya=111dalee

но при этом чтобы индексировались урлы

index.php?name=Modul1&op=Fuction&Peremennaya=222dalee

Я пишу в robots.txt


User-agent: *
Disallow: /index.php?name=Modul1&op=Fuction&Peremennaya=111

Я так понимаю что такой вариант запрещает все урлы которые начинаются именно на

index.php?name=Modul1&op=Fuction&Peremennaya=111

но не запрещает например

index.php?name=Modul1&op=Fuction&Peremennaya=222...

index.php?name=Modul1&op=Fuction&Peremennaya=333...

И так далее.

Прокомментируйте, правильно это или неправильно

ICQ prank цЫтатник(+18) (http://icqprank.ru/) / Ландыши - ВОТ ТАК! (http://landyshi.com)
antono
На сайте с 12.07.2004
Offline
294
antono
#1

Да, все верно. С 111 будет запрещен, а 222, 333 будут в индексе.

maroccanez
На сайте с 14.07.2007
Offline
36
maroccanez
#2

antono, огромное спасибо что успокоили

maroccanez
На сайте с 14.07.2007
Offline
36
maroccanez
#3

Гм, написал данное правило. а Гугл-бот все равно туда заходит...

Может ботов по именам надо перечислять?

User-agent: *

Я так понимаю - это обращения для ВСЕХ роботов?

antono
На сайте с 12.07.2004
Offline
294
antono
#4

Робот ходит по всем страницам, но вносит в индекс согласно правилам robots.txt и директивам в самом html документе.

maroccanez
На сайте с 14.07.2007
Offline
36
maroccanez
#5

О! Спасибо - понял

[Удален]
#6

robots.txt не может запретить боту, а только рекомендовать

Калинин
На сайте с 20.06.2006
Offline
310
Калинин
#7

maroccanez, найдите по поиску пользователя Ctulhu, он много чего может рассказать про robots.txt

Покупка антиквариата: /ru/forum/868704 ()
igor456
На сайте с 10.10.2005
Offline
104
igor456
#8

Не хочу создавать новую тему, решил запостить сюда.

Есть ли возможность закрыть от индексации не всю страницу, а страницу с параметром.

Тоесть item.php?name надо закрыть, а item.php?id оставить ?

john2007
На сайте с 26.03.2007
Offline
173
john2007
#9
igor456:
Не хочу создавать новую тему, решил запостить сюда.
Есть ли возможность закрыть от индексации не всю страницу, а страницу с параметром.
Тоесть item.php?name надо закрыть, а item.php?id оставить ?

Через robots под Яндекс нет.

Можно на сервере в зависимости от наличия параметра name тег meta выводить запрещающий индексацию.

P.S если параметр один, то можно:

Disallow: /index.php?name

такие страницы /item.php?id не запрещает.

Вобщем правило запрета через Disallow звучит так:

Disallow: закрыть все, что начинается с ...........

Совершая ошибки, мы не только учимся их не повторять, но и учимся прощать такие же ошибки другим... (с)
Яндекс внес изменения в Google не рекомендует закрывать Закрытие страниц пагинации через

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий