Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Все вопросы по robots.txt

1... 697071727374757677 ...109
К
На сайте с 28.07.2016
Offline
1
Карманная
#721

Пожалуйста, подскажите...

Недавно перенесли сайт на другую cms и программист попутно сменил название разделов в дереве каталога с http://.../catalogue/... на http://.../catalog/... Он конечно настроил 301 редирект, но может имеет смысл дополнительно в robots.txt указать:

Disallow: /catalogue/

Allow: /catalog/

Нужно ли старый каталог про robots.txt http -> https и
К
На сайте с 28.07.2016
Offline
1
Карманная
#722

Доброго времени суток!

Пожалуйста, подскажите...

Недавно перенесли сайт на другую cms и программист попутно сменил название разделов в дереве каталога с http://.../catalogue/... на http://.../catalog/... Он конечно настроил 301 редирект, но может имеет смысл дополнительно в robots.txt указать:

Disallow: /catalogue/

Allow: /catalog/

Нужно ли старый каталог http -> https и 301 редирект с публикации
[Удален]
#723

Конечно, не имеет смысла.

MR
На сайте с 21.02.2009
Offline
83
m@rmot
#724

Есть необходимость закрыть все страницы типа /catalog/bytovaya_khimiya/1234 (любые цифры), но оставить при этом страницу /catalog/bytovaya_khimiya/

Можно ли как-то?

Пробовал

Allow: /catalog/bytovaya_khimiya/$
Disallow: /catalog/bytovaya_khimiya/*

Не пашет...Может, есть идеи?

Had
На сайте с 01.04.2014
Offline
596
Had
#725

Добрый день. Уже весь мозг сломал. Посмотрите, пожалуйста, правильно сделал ли файл роботс для форума:

User-agent: *
Disallow: /admin/
Disallow: /cache/
Disallow: /extensions/
Disallow: /img/
Disallow: /include/
Disallow: /lang/
Disallow: /style/
Disallow: /register.php
Disallow: /login.php
Disallow: /userlist.php
Disallow: /search.php
Disallow: /misc.php?action=rules
Disallow: /search.php?action=show_recent
Disallow: /search.php?action=show_unanswered
Disallow: /extern.php?action=feed&type=rss
Disallow: /*feed*
Disallow: /*print*
Disallow: /*?pid*
Disallow: /*?cid*

Host: *****.ru

Особенно непонятно правильно ли я сделал то, что выделено жирным. Прочитал инструкцию Яндекса и ещё статей 5 как сделать роботс.тхт и всё равно не уверен, что всё правильно.

Правильный файл роботс.тхт для Написал письмо в Яндекс, Подскажите пожалуйста по роботс.тхт
O
На сайте с 26.07.2015
Offline
65
Ondrik
#726

Как правильно закрыть профиль в роботс - http://site/community/profile/ruslana/. Нужно, чтобы был закрыт profile и все что после него. Профили попали в индекс, я думаю, это нежелательно. Спасибо.

BLIKSSS
На сайте с 11.04.2013
Offline
84
BLIKSSS
#727
Ondrik:
Как правильно закрыть профиль в роботс - http://site/community/profile/ruslana/. Нужно, чтобы был закрыт profile и все что после него. Профили попали в индекс, я думаю, это нежелательно. Спасибо.

Попробуй так

Disallow: /profile/

И в вебмастере проверь закрыт ли url с профилем или нет.

Had
На сайте с 01.04.2014
Offline
596
Had
#728

:( мёртвая тема, жаль.

[Удален]
#729

Тут:

1. Нет телепатов;

2. Уже все обьяснили, и не по одному разу.

D1
На сайте с 26.02.2013
Offline
61
dpakyj1a
#730

Подскажите пожалуйста, какой вариант правильный:

User-agent: *
Sitemap: http://site.net/sitemap.xml
Sitemap: http://site.net/sitemap.xml.gz

или

Sitemap: http://site.net/sitemap.xml
Sitemap: http://site.net/sitemap.xml.gz

Мой сайт - klinok.pl.ua.
1... 697071727374757677 ...109

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий