Файл robots.txt Что надо скрывать от поисковиков?

12
H
На сайте с 03.01.2011
Offline
5
4544

Здравствуйте! Скрыл в robots.txt страницы с ошибками, админ-панель и т.д.

Еще у меня есть папка javascript, которая содержит в себе js и php файлы. PHP файлы выводят информацию о продукте в модальных окнах. Стоит ли закрывать от индексирования эту папку

Есть еще папка style в которой есть папка img и style

Style/style – Содержит в себе css стили

Style/img – картинки дизайна

Стоит ли закрывать от индексации эти две папки?

Pavel Medvedev
На сайте с 27.01.2006
Offline
166
#1

Hamick, содержимое папки общедоступно? Если да, то можно просто пустой index.html в корень папок положить, чтобы люди и поисковики не лезли куда не надо.

Консультирую по SEO. Опыт c 2005: окна топ1,Ашан,Фишки,Спортс и др. Пишите в FB.
H
На сайте с 03.01.2011
Offline
5
#2
sni:
Hamick, содержимое папки общедоступно? Если да, то можно просто пустой index.html в корень папок положить, чтобы люди и поисковики не лезли куда не надо.

Style и img да – так как если запретить к им доступ, то люди не увидят дизайн.

Javascript – запрещен

P.S. CMS я сам разрабатывал, вот и спрашиваю как лучше с точки зрения SEO

K
На сайте с 31.01.2001
Offline
737
#3

sni, вопрос был совсем не про это.

Hamick:
Style и img да – так как если запретить к им доступ, то люди не увидят дизайн.

Наличие файла index.html не запрещает доступ к файлам в папке, если известен их адрес.

А зачем индексировать мелкие кусочки дизайна? Вы рассчитываете на поисковый трафик с них?

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
H
На сайте с 03.01.2011
Offline
5
#4

Есле честно я не знаю всего о СЕО. Но мысля о том, что если закрою «мелкие кусочки дизайна», тем самым я закрою чтение alt атрибутов картинок или нет? Тоесть у меня в папке img не только куски дизайна, но и фотографии товаров. Папку с css стилями думаю же можно закрывать от индексирования так?

Pavel Medvedev
На сайте с 27.01.2006
Offline
166
#5

Kost, если файлы инклудятся при сборе дизайна движком, адрес их скорее нигде не светится. Скорее всего такие куски поисковик находит через открытые листинги директорий. Пустой индексный файл закроет просмотр таких директорий, но не закроет доступ к ним.

PHP с закрытым просмотром директорий поисковики найдут, если они если они не инклюдами из движка вызывается а отдельным файлом открываются.

Тогда такие страницы, которые не нужно индексировать, можно через роботс или метатэгом noindex запретить к индексации.

css и js насколько я помню, при правильных настройках сервера не отдают тип text/html и соответственно не индексируются.

Картинки врядли помешают, они ни участвуют в поиске по вебстраницам :)

K
На сайте с 31.01.2001
Offline
737
#6
Пустой индексный файл закроет просмотр таких директорий, но не закроет доступ к ним.

1) В 99% случаев на сервере отключен показ директорий, не содержащих индексный файл.

Вы подняли проблему на пустом месте, ТС спрашивал про другое.

2) Индексация картинок влияет только на поиск по картинкам и больше ни на что.

Pavel Medvedev
На сайте с 27.01.2006
Offline
166
#7

дубли. потерите плз

sni добавил 19.08.2011 в 19:12

Kost, ок, не буду спорить.

Тогда ответ для ТС: можно закрыть, хуже не будет. Если нужно подробнее - пусть в личку кинет урл.

H
На сайте с 03.01.2011
Offline
5
#8

Тоесть насколько я понял можно срыть js, css, куски дизайна?

И еще можно как нибуть запретить индексацию по-другому. Например, кто-то переходит ко мне на сайт/robots.txt И может увидеть адрес к моей админ-панели, а далее можно и с брутом пароля поиграть.... :(

Pavel Medvedev
На сайте с 27.01.2006
Offline
166
#9
Hamick:
И еще можно как нибуть запретить индексацию по-другому.

В шаблоне админки установить везде тег <META NAME="robots" CONTENT="noindex,nofollow">

Mr.Smile
На сайте с 10.01.2011
Offline
65
#10
Hamick:
Тоесть насколько я понял можно срыть js, css, куски дизайна?
И еще можно как нибуть запретить индексацию по-другому. Например, кто-то переходит ко мне на сайт/robots.txt И может увидеть адрес к моей админ-панели

.htaccess в помощь... можно заблокировать админку и все остальное....

<--TTT-->
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий