Запрет индексации страниц

Rayan
На сайте с 30.09.2005
Offline
49
651

ГУглы пишут:

Чтобы удалить динамически генерируемые страницы, добавьте в файл robots.txt такую запись:
User-agent: Googlebot
Disallow: /*?

Будет ли такая конструкция работать для всех роботов?

User-agent: *

Disallow: /*?

"симфонияки" - symfony forum (http://forum.symfony.org.ua/)
K
На сайте с 31.01.2001
Offline
737
#1

нет, не будет.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
Rayan
На сайте с 30.09.2005
Offline
49
#2

Как тогда сделать запрет для других роботов?

Unlock
На сайте с 01.08.2004
Offline
786
#3

Прописать эти динамические страницы в robots.txt и запретить их индексацию.

Есть желание, - тысяча способов; нет желания, - тысяча поводов! /Петр-I/.
AN
На сайте с 05.06.2004
Offline
243
#4
Disallow: /*?

Что-то новенькое...

Можно ссылочку на первоисточник?

Размещу ваши баннеры на посещаемых сайтах. Места еще есть! Возможен безнал. (/ru/forum/324945) Нужны копирайтеры/рерайтеры - медики. Пишите в личку. (/ru/forum/676932)
Rayan
На сайте с 30.09.2005
Offline
49
#5
AnNik:
Что-то новенькое...
Можно ссылочку на первоисточник?

http://www.google.com/webmasters/remove.html#exclude_pages

Получается что нужно писать все страницы чтоли?

Если их множество, как запретить группу?

K
На сайте с 31.01.2001
Offline
737
#6

Вопрос обсуждался миллион раз. У вас же динамический сайт, используйте в теле страниц

<meta name="robots" content="noindex,nofollow">

в зависимости от вашего желания.

Rayan
На сайте с 30.09.2005
Offline
49
#7

Это вариант неподходит

Мне нужно закрыть только динамические страницы, которые остались в индексе гугла. Сейчас сайт на модреврайте и гугл вобще не хочет идти по новым ссылкам.

Oniks
На сайте с 22.08.2005
Offline
176
#8
Rayan:
Это вариант неподходит

Мне нужно закрыть только динамические страницы, которые остались в индексе гугла. Сейчас сайт на модреврайте и гугл вобще не хочет идти по новым ссылкам.

Нет ничего проще. Вставьте такой код:

if (strpos('?', $REQUEST_URI)) echo '<meta name="robots" content="noindex,nofollow">';

Только название переменной $REQUEST_URI может различаться в зависимости от настроек сервера ($_SERVER['FILENAME'] и др.).

Профессиональные услуги фотографа в Москве и области (http://www.oniks-photo.ru/) покупаю стать и ссылки с сайтов про охоту
AN
На сайте с 05.06.2004
Offline
243
#9
Rayan:
http://www.google.com/webmasters/remove.html#exclude_pages

Получается что нужно писать все страницы чтоли?
Если их множество, как запретить группу?

Спасибо.

Вот бы еще в стандарт роботса это все ввели - было б здорово.

А по стандарту роботса - можно закрыть все, что начинается с заданных символов. Т.е. как-то так:

User-agent: *

Disallow: /?

Disallow: /index.php?

Disallow: /razdel_takoi-to/?

... и т.д.

Rayan
На сайте с 30.09.2005
Offline
49
#10
AnNik:
Спасибо.
Вот бы еще в стандарт роботса это все ввели - было б здорово.
А по стандарту роботса - можно закрыть все, что начинается с заданных символов. Т.е. как-то так:

User-agent: *
Disallow: /?
Disallow: /index.php?
Disallow: /razdel_takoi-to/?

... и т.д.

так и закрыл.

Яндекс понял, но гугл попрежнему отказывается индексировать новые, хотя ходит регулярно на сайт.

Наверно нужно ждать.

Всем спасибо за помощь

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий