Все вопросы по robots.txt

SeVlad
На сайте с 03.11.2008
Offline
1609
#91
trwiz:
решетка используется не только для навигации внутри документа но и например в фильтрах товаров, работающих на ява скрипте,

Ичё? При чём тут события по онклик\онмаусX к индексации страниц с #? Ты думаешь, если юзер перейдёт по такому урлу из выдачи у него сразу выполниться этот js? Или думаешь что так думают ПС? :)

А вот когда речь об аяксе... тот тут для индексации вставлен костыль - #!.

А якорь # никто не отменял.

#! != #

Делаю хорошие сайты хорошим людям. Предпочтение коммерческим направлениям. Связь со мной через http://wp.me/P3YHjQ-3.
V8
На сайте с 06.12.2009
Offline
31
#92
trwiz:
Disallow: /#* - так вы закроете весь сайт от индексации

Хм, а как тогда закрыть дубли?..

Можно вот так?

Disallow: /*comments*

Disallow: /*more*

Но, наверное, тут косяк будет, если в адресе страницы встретится слово "more" ("море" в транслите).

Может можно "Disallow: /*#more*"? Спрашиваю, потому как все ответы по теме решетки в роботсе для меня как об стену горохом. :(

богоносец
На сайте с 30.01.2007
Offline
753
#93

Цветом выделено то, что бот сочтёт за комент и не учтёт:

Disallow: /*#more*

Disallow: /*

равносильно

Disallow: /

Если вы хотите закрыть в роботсе индексацию #хешей, то сначала покажите их в индексе.

Если #! типа http://yandex.ru/yandsearch?text=inurl:escaped-fragment

то почитав хелпы об этих костылях, можно найти:

Disallow: /*_escaped_fragment_

trwiz
На сайте с 26.05.2007
Offline
164
#94
SeVlad:
Ичё? При чём тут события по онклик\онмаусX к индексации страниц с #? Ты думаешь, если юзер перейдёт по такому урлу из выдачи у него сразу выполниться этот js? Или думаешь что так думают ПС? :)

А вот когда речь об аяксе... тот тут для индексации вставлен костыль - #!.
А якорь # никто не отменял.
#! != #

аякс это не ява скрипт что ли? 😂

у меня была ситуация которую блогоносец описал "В ссылке из выдачи (у избранных) иногда бывает именно # без %23" страницы успешно висели и были видны при запросе основной страницы

например при поиске по сайту с запросом /catalog/

выдавалась еще страница /catalog/#parametr

K4
На сайте с 20.06.2013
Offline
117
#95

Чтобы боту яндекса запретить переходить по определенным страницам.

Нужно обязательно использовать

User-agent: Yandex
Disallow: /раздел/

или достаточно

User-agent: *
Disallow: /раздел/
SeVlad
На сайте с 03.11.2008
Offline
1609
#96
trwiz:
аякс это не ява скрипт что ли?

Перечитывай пост до тех пор, пока не поймёшь самую последнюю строку. (пока не научишься отличать якорь от хеша и событий js)

trwiz:
например при поиске по сайту с запросом /catalog/
выдавалась еще страница /catalog/#parametr

Доказательства будут в конце-концов?

А может всё-таки /catalog/#!parametr ?

V8
На сайте с 11.03.2013
Offline
15
#97

Не обязательно, обычно подобные штуки используются для определенного поиска, например по каким либо причинам ты не хочешь чтоб твой сайт был в яндексе, а вот в остальных ПС очень хочешь, или не хочешь чтоб в яндекс картинках всплывали картинки с твоего сайта и неродимые дизайнеры,конкуренты их не воровали.

Если содержание идентично то разделять для каждого поискового бота нет смысла, разве что для приличия или убеждения что это окажется хоть маленьким но положительным фактором при ранжировании

поделись, улыбкою своей и она к тебе не раз еще вернется :)
K4
На сайте с 20.06.2013
Offline
117
#98

спасибо, понял.

просто у гугла проиндексировались те ссылки, которые закрывал от индексации, редиректные.

посмотрю как с яндексом.


Хотя все верно, вот что нашел в справке

Для разделов, предназначенных для робота Яндекса (User-agent: Yandex или User-agent:*), анализатор проверяет директивы, руководствуясь правилами использования robots.txt. Для остальных разделов проверка осуществляется в соответствии со стандартом. При разборе файла анализатор сообщает об обнаруженных ошибках и предупреждает о неточностях в написании правил, а также перечисляет части файла, которые предназначены для робота Яндекса. Результаты анализа отображаются внизу страницы «Анализ robots.txt».
E
На сайте с 30.07.2011
Offline
65
#99

Подскажите пожалуйста кто умеет.

У меня есть страницы такого типа:

site.ru/index.php?page=p0001

site.ru/index.php?page=p0001&z=%E0

Ну и еще некоторые варианты.

Не могу сообразить, как прописать в роботсе, чтобы индексировал только до символа &

А страницы содержащие & и все что после него не индексировались.

L2
На сайте с 26.09.2011
Offline
89
#100

1 вопрос по файлу robots.txt....

если у меня например у сайта есть мобильная версия, начинающаяся с

site.ru/m/catalog, site.ru/m/about - я хочу запретить индексацию мобильной версии, как мне в файлике роботс писать

Disallow: /m или Disallow: /m/ ?

По справке яндекса не могу понять - там написано необходимо написать Disallow: /m

Но вот если у меня встретятся другие странички например site.ru/media не попадёт ли такая страничка под эту категорию?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий