Все вопросы по robots.txt

User-agent: *

Disallow: /page/disallow-page

Еще правильнее будет так:

User-agent: *

Disallow: /page/disallow-page$

т.к. автора интересует конкретная страница в разделе (может внутри нее еще есть позразделы).

В любом случае - тут все описано https://yandex.ru/support/webmaster/controlling-robot/robots-txt.html#asterisk-dollar

Приветствую.

помогите кто знает как, в яндексе вот такие ссылки стали появляться -

/страница.html]

/страница595.html%

/страница595.html>&gh

/страница595.html>

/страница24.html>?4655576

/страница54.html>#fffffffuy

/страницаty888yt8.html>анкор</a>

великое множество разных вариантов и символов после .html

сайт обычный на html, никаких движков не установлено.

В поиске страницы идут тоже с .html расширением, например site.ру/страница1.html

Как правильно прописать в роботс чтобы не было такой фигни, чтобы страницы с разными символами после .html не индексировались?

==============

Еще такие ошибки есть -

оригинальная страница выглядит так - site.ru/страница.html

а ошибка в вебмастере появляется такая - site.ru/стран.html

или так - site.ru/страниц.

Если их тоже можно както запретить в роботс то было бы отлично, хотя думаю это скорее всего к конкуренции относиться, хотя точно не знаю.

OnOf, 404 отдавать по таким урлам

FlyAway, очень спорный вопрос. А вдруг пациент грамотно проспамил? Я бы тогда оставил или все, или с хороших площадок.

Парни, help! Есть кто настраивал роботс под мультиязычный сайт (папками)?

Disallow: /user/password/

Disallow: /user/login/

а они всё равно есть в Яндексе.

Почему?

User-agent: *

Crawl-delay: 10

# CSS, JS, Images

Allow: /misc/*.css$

Allow: /misc/*.css?

Allow: /misc/*.js$

Allow: /misc/*.js?

Allow: /misc/*.gif

Allow: /misc/*.jpg

Allow: /misc/*.jpeg

Allow: /misc/*.png

Allow: /modules/*.css$

Allow: /modules/*.css?

Allow: /modules/*.js$

Allow: /modules/*.js?

Allow: /modules/*.gif

Allow: /modules/*.jpg

Allow: /modules/*.jpeg

Allow: /modules/*.png

Allow: /profiles/*.css$

Allow: /profiles/*.css?

Allow: /profiles/*.js$

Allow: /profiles/*.js?

Allow: /profiles/*.gif

Allow: /profiles/*.jpg

Allow: /profiles/*.jpeg

Allow: /profiles/*.png

Allow: /themes/*.css$

Allow: /themes/*.css?

Allow: /themes/*.js$

Allow: /themes/*.js?

Allow: /themes/*.gif

Allow: /themes/*.jpg

Allow: /themes/*.jpeg

Allow: /themes/*.png

# Directories

Disallow: /includes/

Disallow: /misc/

Disallow: /modules/

Disallow: /profiles/

Disallow: /scripts/

Disallow: /themes/

# Files

Disallow: /CHANGELOG.txt

Disallow: /cron.php

Disallow: /INSTALL.mysql.txt

Disallow: /INSTALL.pgsql.txt

Disallow: /INSTALL.sqlite.txt

Disallow: /install.php

Disallow: /INSTALL.txt

Disallow: /LICENSE.txt

Disallow: /MAINTAINERS.txt

Disallow: /update.php

Disallow: /UPGRADE.txt

Disallow: /xmlrpc.php

# Paths (clean URLs)

Disallow: /admin/

Disallow: /comment/reply/

Disallow: /filter/tips/

Disallow: /node/add/

Disallow: /search/

Disallow: /user/register/

Disallow: /user/password/

Disallow: /user/login/

Disallow: /user/logout/

# Paths (no clean URLs)

Disallow: /?q=admin/

Disallow: /?q=comment/reply/

Disallow: /?q=filter/tips/

Disallow: /?q=node/add/

Disallow: /?q=search/

Disallow: /?q=user/password/

Disallow: /?q=user/register/

Disallow: /?q=user/login/

Disallow: /?q=user/logout/

"Кодекс - это свод указаний, а не жестких законов" (с)

Если апач то закрывай через htaccess

Попробуйте форму https://webmaster.yandex.ru/tools/del-url/

Happy_Cheburashka, метатег в head вставьте

<meta name="robots" content="noindex,nofollow">