Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Подскажите по robots.txt

12
KO
На сайте с 16.09.2010
Offline
21
Kurkov.ORG
#11

Легко проверить.

Заходим на http://webmaster.yandex.ru/robots.xml

Добавляем: https://searchengines.guru/ считываем robots.txt

Добавляем ссылку:

Получаем результат:

URL Результат

запрещен правилом /img/

Т.о. всё что по пути и глубже не индексируется!!!

[Удален]
#12
dimazu:
Всем спасибо.
Kost, так как мне избавиться от этих дублей с ?view=123
ваше мнение интересно.

User-agent: *

Disallow: /*?view=123

D
На сайте с 29.06.2010
Offline
64
dimazu
#13

а объясните, если не трудно, чем отличается /?view=123$ от /*?view=123 ?

Спасибо.

Станки для лазерной резки фанеры, пластика, дерева, металла (http://lasergu.ru/katalog-category/stanki-dlya-lazernoy-rezki/)
A
На сайте с 09.09.2008
Offline
156
Arseo
#14
dimazu:
а объясните, если не трудно, чем отличается /?view=123$ от /*?view=123 ?
Спасибо.

Оба правила закроют от индексации урл /?view=123, но правило

Disallow: /?view=123$

закроет только урл /?view=123, а

Disallow: /?view=123

закроет также ?view=12345, например.

Матчасть по robots.txt

Рекомендую хостинг Бегет: https://surl.li/ceykjl
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий