Все вопросы по robots.txt

alaev
На сайте с 18.11.2010
Offline
860
#731

Оба варианта идентичны :)))

Зачем вам сжатый вариант sitemap? Файл шибко здоровый?

Создание и продвижение сайтов - https://alaev.net , аудиты сайтов, контекстная реклама
K2
На сайте с 26.02.2010
Offline
49
#732

Заметил дубли, типа:

http://мой сайт.ru/-windows.html?start=132

http://мой сайт.ru/-windows.html?start=138

http://мой сайт.ru/-windows.html?start=144

Подскажите как в роботс прописать, чтобы не было в концах типа: ?start=144

Если я правильно понимаю надо прописать:

Disallow: /?* или так: Disallow: /*?

Вообщем чтобы после знака "?" неиндексировалось.

Те кто заботится о своем здоровье (http://zdorovy-obraz.ru/).
[Удален]
#733

krot24, старт запрети, господи находят же проблему(((

C
На сайте с 07.03.2010
Offline
50
#734

Как закрыть все страницы от индексации в которых есть:

www.mysite.ru/index.php?page=123

www.mysite.ru/index.php?page=234

а страницы:

www.mysite.ru/index.php?im=123

www.mysite.ru/index.php?im=234

были открыты для индексации.?

здесь есть графит (http://carbon-ug.ru)
E
На сайте с 21.09.2009
Offline
283
#735
Comopt:
Как закрыть все страницы от индексации в которых есть:

Уточните, под яндекс или гугл? Есть разница.

C
На сайте с 07.03.2010
Offline
50
#736
easywind:
Уточните, под яндекс или гугл? Есть разница.

и в гугле и в яндексе, и от других ПС

---------- Добавлено 02.09.2016 в 06:27 ----------

Disallow: /*?page=* этот гугл понимает

[Удален]
#737
Comopt:
Disallow: /*?page=* этот гугл понимает

Все понимают. И нахрена, кстати, * на конце? Она там и так по дефолту.

E
На сайте с 21.09.2009
Offline
283
#738
Comopt:
Disallow: /*?page=* этот гугл понимает

гугл поймет, как не сканировать, но не индексировать. Страница в индексе, так и останется.

[Удален]
#739

easywind, сами то поняли, что сказали?

W
На сайте с 06.11.2015
Offline
33
#740

Как закрыть определенную рубрику в роботсе наглядно покажите плз. Подрубрики ведь тоже закроются в след за рубрикой верно?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий