Форум Практика оптимизации Частные вопросы - ранжирование, индексация, бан

Полезли в индекс страницы с ? на конце

M
На сайте с 25.11.2015
Offline
1
Myintimtoy
366

Здравствуйте, подскажите, пожалуйста. Полезли в индекс по webmaster страницы со знаком вопроса на конце. Вот такого вида www.site.ru/toy?

Подскажите, пожалуйста, если в robots добавить такое

User-agent: *

Disallow: /*?

это поможет? Или что-то можно сделать ещё?

S
На сайте с 08.03.2007
Offline
81
Seobuzz
#1

таким Disallow вы рискуете закрыть от индексации полезный контент, который идет на динамических страницах.

Кажется, такой оператор работает Disallow: /*?$, т.е. знак доллара в конце, но, для всех ли роботов - большой вопрос.

Совместная работа в облаке, CRM, телефония. Пользуйтесь бесплатно (http://goo.gl/39bDEV). Оптимальный хостинг под Битрикс (http://goo.gl/24oQCw), лучше не встречал.
Запрет индексации страниц роботы robots.txt для динамических урлов.
M
На сайте с 25.11.2015
Offline
1
Myintimtoy
#2

Спасибо большое. У нас нет динамически генерируемого. а про знак на конце - погуглю

IPXI
На сайте с 04.11.2015
Offline
126
IPXI
#3

$ в Яндексе работает 100%

A4
На сайте с 24.08.2015
Offline
62
Alexeevi4
#4
Myintimtoy:
Здравствуйте, подскажите, пожалуйста. Полезли в индекс по webmaster страницы со знаком вопроса на конце. Вот такого вида www.site.ru/toy?

Подскажите, пожалуйста, если в robots добавить такое



это поможет? Или что-то можно сделать ещё?

Да, если нет динамических страниц и все нужные урлы имеют ЧПУ, то этого достаточно. Сам таким правилом пользуюсь.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий