опять о robots.txt Как динамические странички закрыть?

P
На сайте с 19.01.2006
Offline
96
713

Ситуация такая.

В корне сайта есть файл urlcheck.php?ХХХ, где ХХХ- числа

Его надо закрыть от роботов

Прописал сначала

Disallow: urlcheck.php

... яндекс все равно наиндексировал кучу этих файлов

Посоветовали изменить на

Disallow: urlcheck.php?

...Яндекс вообще все эти файлу проиндексил... :rolleyes:

Что прописать чтобы Яндекс (ну и другие заодно) перестали эти файлы индексировать?

Размещу недорого ваши статьи туристической тематики.
UT
На сайте с 01.04.2006
Offline
16
UTT
#1

pheny,

Надо писать так

Disallow: /urlcheck.php

белый каталог (http://catalog.fvrc.ru/) + еще один белый каталог (http://boardcat.fvrc.ru/) PPC (http://www.smart-click.ru/aff/signup.php?ref=813)
P
На сайте с 19.01.2006
Offline
96
#2

хммм, попробую спасибо.

А вопросительный знак в конце урла надо ставить?

C
На сайте с 19.09.2001
Offline
120
#3

Можно писать, можно не писать, важно, чтобы адрес от корня начинался.

С уважением, Владимир Чернышов. (не)?путевые заметки (http://chernyshov.kiev.ua/)
SK
На сайте с 31.01.2005
Offline
72
#4

pheny, Яндекс несколько по-своему понимает стандарт robots.txt.

По идее, если написать:

Disallow: /urlcheck.php

он должен перестать индексировать все, что начинается с urlcheck.php.

Однако он считают, что Вы указали конкретную страницу urlcheck.php и перестает индексировать только ее. Если указать:

Disallow: /urlcheck.php?

Он перестанет индексировать все странице с параметрами, однако оставит в индексе саму страницу urlcheck.php.

Выход из этого:

Disallow: /urlcheck

Однако, если у Вас есть страницы urlcheckis.php или urlcheck.html (все, что начинается с urlcheck) он и их перестанет индексировать.

В общем сейчас это так, проверено.

Форум "ПолитДиалог" (http://forum.politdialog.ru/): мы не правые, не левые, не за власть, не против нее. Мы - граждане России, все зависит только от нас! С уважением, Сергей Кротов.
UT
На сайте с 01.04.2006
Offline
16
UTT
#5

Disallow: /urlcheck.php

Disallow: /urlcheck.php?

DimaU
На сайте с 30.08.2005
Offline
180
#6

*** sorry ошибка ***

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий