Как закрыть папку и не закрыть файлы в ней?

Через роботс тхт

а конкретней?

disallow: /images/screenshots/

закрывает все

я не помню - посмотрите операторы - там есть закрыть только папку кроме файлов в ней

Disallow на папку

Аllow на расширение

https://yandex.ru/support/webmaster/robot-workings/allow-disallow.html

Если не секрет, к чему такие манипуляции? У вас в папке разрешено просматривать все файлы?

Что значит в индекс попадает папка? Роботы индексируют документы, а не папки.

Может в папке есть файл index.html или ему подобный?

Как в индексе поисковой системы выглядит эта папка? Какой тайтл она отдаёт, какой дескрипшен?

Может на корень папки стоят где-то внешние ссылки?

Вот такая конструкция поможет:

User-Agent: *
Allow: /images/screenshots/*.jpg
Disallow: /images/screenshots

Сначала разрешаем все jpg в папке, остальные документы в ней - запрещаем.

Также, альтернативой будет запрет просто папки с признаком окончания url:

User-Agent: *
Disallow: /images/screenshots/$
Disallow: /images/screenshots$

Эти директивы запретят индексирование только этого url, без хвостов в виде *.jpg или иных документов.

Можете добавить и проверить через валидатор того же Яндекса в ВМТ.

Кроме того, возможно, имеет смысл добавить директиву в .htaccess для этой, а может и для других папок:

Options All -Indexes

Эта директива запретит просмотр директории в принципе, на уровне apache/httpd. Если, конечно, обработка передается в апач, если же на уровне nginx - там свою директиву можно прописать. Обычно нет причин допускать просмотр директорий.

Такой же эффект даст добавление пустого index.html в нужной папке, поскольку сервер станет вместо индекса директории отдавать просто пустой документ.

В остальном, уточните, что именно попадает в индекс и что нужно закрыть, поскольку не совсем понятно, что именно и зачем еще находится в папке.

Вариаций немеряно, и на уровне веб-сервера, и на уровне файла роботс.

srs3000, как выше написали отдельные товарищи, в норме манипуляции с самой папкой (без учета находящихся в ней файлов) совершенно не нужны, т.к. по запросу /images/screenshots/ должна выдаваться 404-ая. У вас, видимо, вместо 404-ой выдается какая-то «индексная» страница, которая и попадает в индекс ПС (что вполне логично, даже если прямых ссылок на нее нигде нет, т.к. это узловой элемент для входящих в эту папку файлов). Так вот выдачу «на автомате» подобных индексных страниц вам нужно запретить в настройках сервера (или движка, если это проказничает движок). Т.е. в норме должно быть так – gency.ru/files, а не так – g09.ru/files, если вы не хотите, чтобы пользователи просматривали оглавления ваших папок, а поисковики индексировали соотв. страницы.

---------- Добавлено 20.03.2019 в 10:13 ----------

P.S. Часто в .htaccess бездумно лепят условие RewriteCond %{REQUEST_FILENAME} !-d, удаление которого, возможно, поможет решить вашу проблему.

Осмелюсь предположить, что всё с точностью до наоборот. 🙄

В папке нет индексного файла, установлена директива Options Indexes, и сервер выдаёт содержимое папки.