Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Все вопросы по robots.txt

1 2345678910 ...109
C
На сайте с 08.01.2014
Offline
1
Cdzn
#51

Здравствуйте, простите за глупый вопрос, а что значит вот эта строка при проверке роботс в панели вебмастера

cheredov
На сайте с 07.04.2011
Offline
125
cheredov
#52
Yuto:
Мне нужно все, кроме 4 страниц
/vorota/rulonnye-vorota/
/vorota/raspashnye-vorota/
/vorota/otkatnye-vorota/
/vorota/podemno-sektsionnye-vorota/

тогда почему бы не закрыть все кроме них?

disallow: /vorota/

allow: /vorota/rulonnye-vorota/$

allow: /vorota/raspashnye-vorota/$

allow: /vorota/otkatnye-vorota/$

allow: /vorota/podemno-sektsionnye-vorota/$

sasha_mtrx:

Disallow: /vorota/
allow: /vorota/*
Disallow: /vorota/*/*

проверяйте должно сработать

вы бы проверили сами. честно говоря ерунду написали.

Иван Чередов (http://ivan.cheredov.com/about/)
apap
На сайте с 03.09.2008
Offline
155
apap
#53

Замучился искать ответ на этот вопрос. Дорогие форумчане, выручайте.

В robots.txt нужно закрыть от индексации папку, но не файлы которые там находятся.

Например:

http://site1.ru/catalog/ - закрыта от индексации

http://site1.ru/catalog/82392.html - открыта к индексации

Disallow: /catalog/ - не подходит.

Disallow: /catalog - вроде тоже не работает.

В руковдстве Яндекс пишет что можно прописать так:

Disallow: /catalog/

Allow: /catalog/82392.html

Тогда вроде будет работать. Да вот только страниц в папке огромное количество.

Есть какое-нибудь простое решение?

cheredov
На сайте с 07.04.2011
Offline
125
cheredov
#54
Cdzn:
Здравствуйте, простите за глупый вопрос, а что значит вот эта строка при проверке роботс в панели вебмастера

Это означает, что робот прочитал и будет учитывать 18 строк с 1-ой по 18-ю.

cheredov
На сайте с 07.04.2011
Offline
125
cheredov
#55
apap:
Замучился искать ответ на этот вопрос. Дорогие форумчане, выручайте.

В robots.txt нужно закрыть от индексации папку, но не файлы которые там находятся.

Например:

http://site1.ru/catalog/ - закрыта от индексации
http://site1.ru/catalog/82392.html - открыта к индексации

Disallow: /catalog/ - не подходит.
Disallow: /catalog - вроде тоже не работает.

В руковдстве Яндекс пишет что можно прописать так:

Disallow: /catalog/
Allow: /catalog/82392.html

Тогда вроде будет работать. Да вот только страниц в папке огромное количество.
Есть какое-нибудь простое решение?

Disallow: /catalog/$

Так запретите только саму страницу /catalog/

Все файлы будут разрешены к индексации

maximka77
На сайте с 15.10.2011
Offline
227
maximka77
#56

Здравствуйте. Подскажите кто знаком с Opencart, какой там правильный robots?

Перековырял весь форум Опенкарта, однозначного мнения не нашел. По кусочкам собрал свой (пример ниже). Подскажите, пожалуйста, ничего лишнего я не закрыл? Или наоборот, забыл закрыть. Заранее всем спасибо.

Robots.txt для Opencart:

User-agent: *

Disallow: /admin
Disallow: /cache
Disallow: /niks
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?route=account
Disallow: /index.php?route=account/account
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /index.php?route=product/search
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=information/information&information_id=
Disallow: /index.php?route=account/login
Disallow: /*route=account/
Disallow: /*route=account/login
Disallow: /*route=checkout/
Disallow: /*route=checkout/cart
Disallow: /*route=affiliate/
Disallow: /*route=product/search
Disallow: /*?sort=
Disallow: /*?sort
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*?order
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?manufacturer
Disallow: /*?keyword
Host: сайт.ру
- Дизайн-радиаторы отопления ( https://velarshop.ru/design/) - Зарабатываю в РСЯ через ( https://app.adprofit.world/login/registration?u=219 ) пока что мне нравится, выплаты получаю каждый понедельник на USDT - Заказать обратные внешние ссылки с главных страниц PBN ( https://tier1.shop/ )
N
На сайте с 28.04.2010
Offline
80
Namos
#57

Доброго времени суток. Вопрос по кириллице. У меня у сайта урлы генерятся с кириллицей, попробовал запретить индексацию через robots.txt мне яндекс выдал ошибку. Возможно ли указывать кириллицу в роботс? и еще вопрос, везде в документациях и описаниях пишут, что в роботс запрещают индексации каталогов я правильно понимаю, что и уры тоже можно закрыть? скажем у меня на сайте есть категория урлов /get/акция/* но каталогов конечно под них нет, урлы генерятся динамически ЦМСкой, в роботс так и писать?

cheredov
На сайте с 07.04.2011
Offline
125
cheredov
#58
Namos:
Доброго времени суток. Вопрос по кириллице. У меня у сайта урлы генерятся с кириллицей, попробовал запретить индексацию через robots.txt мне яндекс выдал ошибку. Возможно ли указывать кириллицу в роботс? и еще вопрос, везде в документациях и описаниях пишут, что в роботс запрещают индексации каталогов я правильно понимаю, что и уры тоже можно закрыть? скажем у меня на сайте есть категория урлов /get/акция/* но каталогов конечно под них нет, урлы генерятся динамически ЦМСкой, в роботс так и писать?

http://help.yandex.ru/webmaster/yandex-indexing/cyrillic-urls.xml

ebitok
На сайте с 07.11.2011
Offline
112
ebitok
#59

Подскажите плиз, а то боюсь накосячить)

Нужно закрыть от индексации:

site.ru/kategoriya/?filter=1

site.ru/kategoriya/?page=1

site.ru/kategoriya/?page=1&filter=1

site.ru/kategoriya/?filter=1

т.е. нужно закрыть все , где встречается знак вопроса

site.ru/kategoriya/ нужно оставить

Disallow: /*?*

или

Disallow: *?*

Seoshkin
На сайте с 10.01.2013
Offline
58
Seoshkin
#60

пропишите в хеде ссылку rel="canonical" на site.ru/kategoriya

Создание и продвижение сайтов - SEOservices (https://seoservices.com.ua) Digital Agency
1 2345678910 ...109

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий