Options-Indexes с исключением для google и яд ботов

123
H
На сайте с 09.01.2009
Offline
55
#11

удаленоююю

B
На сайте с 05.01.2010
Offline
67
#12
WapGraf:
В третий и последний раз, надеюсь дойдет, Options -Indexes НЕ отдает 403 при запросе конкретного файла. Опция ТОЛЬКО ограничивает листинг папки. Никакой доступ к файлам она НЕ запрещает.

WapGraf, последний вопрос , тоесть с Options -Indexes сайт полностью индексируется (фото, ссылки, материалы итд) и несмотря на то, что в гугл вебмастере выдается ошибка что гуглбот не может зайти в папку, игнорировать это и Options -Indexes всегда должен быть прописан?

dkameleon
На сайте с 09.12.2005
Offline
386
#13

Buildbuildd, боюсь, от вас потребуются конкретные примеры, скриншоты, ссылки.

Дизайн интерьера (http://balabukha.com/)
B
На сайте с 05.01.2010
Offline
67
#14
dkameleon:
Buildbuildd, боюсь, от вас потребуются конкретные примеры, скриншоты, ссылки.

На снимке папка с фото.

С Options -Indexes выдает ошибку доступа

Без Options -Indexes заходит 200 ок

я не понимаю, если гугл бот не может зайти в папку, то как он проиндексирует фото?

Или не париться и нормально все будет индексироваться?

jpg 134906.jpg
L
На сайте с 07.12.2007
Offline
351
#15

Buildbuildd,

опция Indexes - если запрошенный URL соответствует каталогу, и в этом каталоге нет ничего соответствующего DirectoryIndex (например Index.htm), то сервер вернет список всех файлов и директорий каталога.

Можете посмотреть как это выглядит вживую - прямой доступ в каталог не закрыт по 403, index.html(php) - отсутствует.

Включенная опция Indexes считается небезопасной, тк можно лазить по всем каталогам и смотреть в них имена всех файлов и вложенных каталогов.

-Indexes запрещает показ содержимого каталога /images/ через браузер, но <img src='/images/pic.png'> будет нормально показывать картинку.

При этом, поисковики(для поиска по картинкам) индексируют не саму картинку /images/pic.png, а текст вокруг <img src='/images/pic.png'> на html-странице, при этом картинка site.ru/images/pic.png должна показываться.

Включите -Indexes и проверьте, показывается ли в браузере какая-нибудь картинка из этой папки /папка-Indexes/картинка.jpg или какой-нибудь ява-скрипт.js

Если показывается - всё нормально, Гуглу незачем напрямую лезть к содержимому каталогов минуя html-страницу.

И проверьте, что в нужных каталогах у вас прописан DirectoryIndex index.html или DirectoryIndex index.php - какой файл запускать, когда он не указан в url: набран site.ru/articles/ вместо site.ru/articles/index.html

К ненужным промежуточным каталогам доступ должен быть закрыт, то есть, картинка типа site.ru/templates/wordpress/images/pic1.img должна показываться, а содержимое промежуточных папок:

site.ru/templates/wordpress/images/
site.ru/templates/wordpress/
site.ru/templates/

показываться не должно.

dkameleon
На сайте с 09.12.2005
Offline
386
#16
Buildbuildd:

я не понимаю, если гугл бот не может зайти в папку, то как он проиндексирует фото?
Или не париться и нормально все будет индексироваться?

картинки бот найдет, если они где-то использованы на сайте - есть на них прямые ссылки.

используйте картики в новостях, статьях и боты их проиндексируют.

если вы просто хотите скормить боту список картинок, то листинг директории, который с +Indexes - самый простой способ. не смертельно, если пользователи тоже картинки увидят.

B
На сайте с 05.01.2010
Offline
67
#17
Ladycharm:
Buildbuildd,
опция Indexes - если запрошенный URL соответствует каталогу, и в этом каталоге нет ничего соответствующего DirectoryIndex (например Index.htm), то сервер вернет список всех файлов и директорий каталога.

Можете посмотреть как это выглядит вживую - прямой доступ в каталог не закрыт по 403, index.html(php) - отсутствует.

Включенная опция Indexes считается небезопасной, тк можно лазить по всем каталогам и смотреть в них имена всех файлов и вложенных каталогов.

-Indexes запрещает показ содержимого каталога /images/ через браузер, но <img src='/images/pic.png'> будет нормально показывать картинку.

При этом, поисковики(для поиска по картинкам) индексируют не саму картинку /images/pic.png, а текст вокруг <img src='/images/pic.png'> на html-странице, при этом картинка site.ru/images/pic.png должна показываться.

Включите -Indexes и проверьте, показывается ли в браузере какая-нибудь картинка из этой папки /папка-Indexes/картинка.jpg или какой-нибудь ява-скрипт.js

Если показывается - всё нормально, Гуглу незачем напрямую лезть к содержимому каталогов минуя html-страницу.


И проверьте, что в нужных каталогах у вас прописан DirectoryIndex index.html или DirectoryIndex index.php - какой файл запускать, когда он не указан в url: набран site.ru/articles/ вместо site.ru/articles/index.html

К ненужным промежуточным каталогам доступ должен быть закрыт, то есть, картинка типа site.ru/templates/wordpress/images/pic1.img должна показываться, а содержимое промежуточных папок:
site.ru/templates/wordpress/images/
site.ru/templates/wordpress/
site.ru/templates/
показываться не должно.
dkameleon:
картинки бот найдет, если они где-то использованы на сайте - есть на них прямые ссылки.
используйте картики в новостях, статьях и боты их проиндексируют.

если вы просто хотите скормить боту список картинок, то листинг директории, который с +Indexes - самый простой способ. не смертельно, если пользователи тоже картинки увидят.

Огромное спасибо за терпение!

Все понял

Андрей
На сайте с 30.09.2009
Offline
498
#18
dkameleon:
если вы просто хотите скормить боту список картинок, то листинг директории, который с +Indexes - самый простой способ. не смертельно, если пользователи тоже картинки увидят.

Но небезопасно для других директорий скрипта.

Кроме этого гугл глянет на картинки и скажет "А нафига мне вся эта каша?" и будет прав. В выдаче 99.9% картинок это те что имеют прописанный alt хотя бы. А каша из файлов никогда в выдаче не будет видна!

EuroHoster.org ( https://eurohoster.org/ru) - территория быстрых серверов. Выделенные серверы, VPS, SSL, домены и VPN.
dkameleon
На сайте с 09.12.2005
Offline
386
#19
WapGraf:
Но небезопасно для других директорий скрипта.

дырявого скрипта, если быть точным :)

C
На сайте с 20.09.2007
Offline
114
#20
WapGraf, скажите,пожалуйста,есть ли альтернативный способ?

Положите в эти свои две папки пустой index.html

ИМХО, самые лучшие VDS: https://cp.inferno.name/aff.php?aff=4048
123

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий