Все вопросы по robots.txt

B4
На сайте с 27.04.2012
Offline
94
#181
vkapas:
Сегодня выяснилось, что я лузер в настройке robots.txt, потому что не знал, что
Disallow: /index.php

оказывается, запрещает индексацию всех страниц, URL которых начинается на index.php (по крайней мере, для Яндекса это так).

Раньше я как дурак думал, что для этого нужно использовать
Disallow: /index.php*



В связи с чем вопрос: в чём тогда разница между двумя этими правилами?

Разницы нет, по умолчанию к концу каждого правила приписывается '*'

S
На сайте с 16.03.2014
Offline
2
#182

Разницы нет, по умолчанию к концу каждого правила приписывается '*'

Чётко.

help.yandex.ru/webmaster/controlling-robot/robots-txt.xml

domen4you
На сайте с 08.03.2013
Offline
53
#183

удалил навсегда каталог с сайта, несколько тысяч страниц и картинок были в индексе, надо ли ставить для него Disallow: /papka или достаточно отдавать 404?

B4
На сайте с 27.04.2012
Offline
94
#184
domen4you:
удалил навсегда каталог с сайта, несколько тысяч страниц и картинок были в индексе, надо ли ставить для него Disallow: /papka или достаточно отдавать 404?

Если папки физически больше не существует - отдает ошибку, тогда не нужно. Для более быстрой переиндексации сайта, можете использоваться актуальный sitemap

---------- Добавлено 30.06.2014 в 11:22 ----------

sircaptain:
Разницы нет, по умолчанию к концу каждого правила приписывается '*'
Чётко.
help.yandex.ru/webmaster/controlling-robot/robots-txt.xml

все верно - взято из хелпа.

R
На сайте с 08.07.2014
Offline
0
#185

Скажите нужно ли закрывать результаты поиска по сайту директивой Disallow: /search/, прочитал что поисковики не любят кучу бессмысленных страниц в поиске

K
На сайте с 04.07.2014
Offline
20
#186

в индекс вылезли страницы без чпу, с системным адресом, ссылки вида site.ru/services/003

site.ru/services/004

site.ru/services/005

site.ru/services/006

site.ru/services/007

site.ru/services/008

Disallow: /services решит проблему?

A
На сайте с 18.04.2013
Offline
96
#187
Kerosene:
Disallow: /services решит проблему?

проверить можете в панели вебмастера - http://webmaster.yandex.ru/robots.xml

angel57
На сайте с 01.04.2014
Offline
154
#188
Renigat:
Скажите нужно ли закрывать результаты поиска по сайту директивой Disallow: /search/, прочитал что поисковики не любят кучу бессмысленных страниц в поиске

я всегда закрываю -

Disallow: /search/*

S2
На сайте с 16.02.2007
Offline
114
#189

подскажите пожалуйста правильно ли закрыл от индексации

Disallow: /*-stati/

правильная ссылка site/stati/name.html

не правильная ссылка которая также доступна по адресам

site/1-stati/name.html

site/2-stati/name.html

site/{любая цифра или буква}-stati/name.html

спасибо

DI
На сайте с 11.07.2014
Offline
0
#190

Добрый день!

Подскажите, пожалуйста, как можно закрыть в robots страницы, содержащие "#"?

Вот такого вида страницы:

site.ru/#p000000

site.ru/#page ну и подобные.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий