Все вопросы по robots.txt - 2

В Яндекс вебмастере есть инструмент "Проверить статус URL" - он показывает в том числе и то что закрыта страница от индексации или нет. С помощью него можно легко перебрать варианты.

Применительно к robots.txt ваше высказывание не верно.

Даже интересно дадут ли ТС правильный ответ, компоненты уже есть.

Вы вообще понимаете что-либо в роботсе? Во-первых, верно. потому что порядок следования аллоу и дизаллоу пофиг для яндекса. Во-вторых, правильный ответ уже был дан выше. Про совместное использование.

Вопрос был в целом про robots.txt (не только про Яндекс).

И по этому вебмастерам стоит понимать, что инструкции обрабатываются последовательно сверху вниз (и по этому важно, что выше и ниже) То есть от перестановки строк может меняться итог, если пересекаются области директорий.

То есть правильно будет так для всех роботов:

Disallow: /directory2/

Allow: /directory2/subdirectory1/

Получается не надо писать отдельные инструкции роботам.

Яндекс ввел дополнительное правило о длине пути (инструкции сортируются по длине префикса URL), по этому чисто для него может быть не важна последовательность.

Здравствуйте

На сайте есть страницы начинающиеся одинаково site.ru/before-after-...page.php

Разные значения только там где точки

Мне нужно запретить их для индексации. Правильно ли я сделаю если пропишу так?

User-agent: *

Disallow: /?before-after

Или нужно будет каждую строку отдельно прописывать?

Добрый день.

Как исключить страницы вида https://сайт/категория/новость.html. Мне нужно чтобы индексировалась только категория.

*html дизаллоу с категорией, сложность, мда...

Disallow: /категория/*

Верно?

Нет неверно, * любая последовательность, если у вас все содержимое с .html то впишите после html

ЧПУ: /категория/название-статьи.html

Disallow: /категория/html*

Верно? Точка необязательна?