Доступ к robots.txt по http и https

_Vorobey_
На сайте с 05.07.2010
Offline
70
3360

Добрый вечер. Перевел сайт на HTTPS. Читал, что файл роботс - должен быть доступен, даже после переезда, так же по http (помимо https) Ребята, подскажите, пожалуйста, как организовать доступность robots по http? Хостинг TIMEWEB.

Мой .htaccess:

# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>
# END WordPress


# Protect wp-config
<files wp-config.php>
order allow,deny
deny from all
</files>

# Protect htaccess
<Files .htaccess>
order allow,deny
deny from all
</Files>

# Сжимаем компоненты сайта путем включения Gzip
AddOutputFilterByType DEFLATE text/html text/plain text/xml application/xml application/xhtml+xml text/javascript text/css application/x-javascript
BrowserMatch ^Mozilla/4 gzip-only-text/html
BrowserMatch ^Mozilla/4.0[678] no-gzip
BrowserMatch bMSIE !no-gzip !gzip-only-text/html

# Кеширование в браузере на стороне пользователя
<IfModule mod_expires.c>
ExpiresActive On
ExpiresDefault "access 7 days"
ExpiresByType application/javascript "access plus 1 year"
ExpiresByType text/javascript "access plus 1 year"
ExpiresByType text/css "access plus 1 year"
ExpiresByType text/html "access plus 7 day"
ExpiresByType text/x-javascript "access 1 year"
ExpiresByType image/gif "access plus 1 year"
ExpiresByType image/jpeg "access plus 1 year"
ExpiresByType image/png "access plus 1 year"
ExpiresByType image/jpg "access plus 1 year"
ExpiresByType image/x-icon "access 1 year"
ExpiresByType application/x-shockwave-flash "access 1 year"
</IfModule>

# Cache-Control
<ifModule mod_headers.c>

# 30 дней
<filesMatch "\.(ico|pdf|flv|jpg|jpeg|png|gif|swf)$">
Header set Cache-Control "max-age=2592000, public"
</filesMatch>

# 30 дней
<filesMatch "\.(css|js)$">
Header set Cache-Control "max-age=2592000, public"
</filesMatch>

# 2 дня
<filesMatch "\.(xml|txt)$">
Header set Cache-Control "max-age=172800, public, must-revalidate"
</filesMatch>

# 1 день
<filesMatch "\.(html|htm|php)$">
Header set Cache-Control "max-age=172800, private, must-revalidate"
</filesMatch>
</ifModule>

# Запрет от использования наших изображений (не работает)
RewriteCond %{HTTP_REFERER} !^http://domen.com/.*$ [NC]
RewriteCond %{HTTP_REFERER} !^http://domen.com$ [NC]
RewriteCond %{HTTP_REFERER} !^http://www.domen.com/.*$ [NC]
RewriteCond %{HTTP_REFERER} !^http://www.domen.com$ [NC]
RewriteRule .*\.(jpg|jpeg|gif|png|bmp)$ - [F,NC]

# Баним спаммеров
<Limit GET POST>
order allow,deny
deny from 80.82.65.17
allow from all
</Limit>

# Ридерект на www
RewriteEngine On
RewriteCond %{HTTP_HOST} ^domen.com
RewriteRule (.*) http://www.domen.com/$1 [R=301,L]

# HTTPS
SetEnvIf X-HTTPS 1 HTTPS

php_value default_charset utf-8
AddType 'text/html; charset=utf-8' .html .htm .shtml
Фан-cайт группы - «BRUTTO» (http://bruttoband.ru)
богоносец
На сайте с 30.01.2007
Offline
754
#1

из ваших интернетов

<IfModule mod_rewrite.c>


RewriteEngine on
RewriteBase /

RewriteCond %{SERVER_PORT} !^443$
RewriteCond %{REQUEST_URI} !^/robots.txt$
RewriteRule .* https://%{SERVER_NAME}%{REQUEST_URI} [R=301,L]

</IfModule>
# Ридерект на www у себя тоже исключение для robots сделаете.

Ещё посмотрите на

http://yandex.ru/robots.txt

http://www.yandex.ru/robots.txt

https://yandex.ru/robots.txt

https://www.yandex.ru/robots.txt

но есть мнение, что сия традиция уже не нужна.

_Vorobey_
На сайте с 05.07.2010
Offline
70
#2

т.е. предлагаете забить? и не делать robots.txt доступным по http версии? ибо это уже не актуально?

VG
На сайте с 30.04.2017
Offline
86
#3
ибо это уже не актуально?

переезжал без проблем.

про робота только сейчас узнал)

VG
На сайте с 30.04.2017
Offline
86
#4
ибо это уже не актуально?

переезжал без проблем.

про робота только сейчас узнал)

S
На сайте с 30.09.2016
Offline
469
#5
_Vorobey_:
т.е. предлагаете забить? и не делать robots.txt доступным по http версии? ибо это уже не актуально?

Никто этого не предлагал.

Отпилю лишнее, прикручу нужное, выправлю кривое. Вытравлю вредителей.
sochi-russia
На сайте с 06.01.2012
Offline
183
#6
_Vorobey_:
т.е. предлагаете забить? и не делать robots.txt доступным по http версии? ибо это уже не актуально?

Это никогда не было актуальным.

https://clck.ru/Rk2P5 Сервера, конфигуратор тарифов VPS | Авиабилеты дешево https://avia-avia.ru . | Супер Хостинг от 9,20 руб в день https://clck.ru/Rk2P5 🖧 VPS от 19 руб. https://clck.ru/afhGc 🖧 Выделенные СЕРВЕРЫ - БЕСПЛАТНЫЕ плюшки https://clck.ru/YhkZe 🖧 / / Хостинг от 6руб в день! https://clck.ru/Rk2P5
FladeX
На сайте с 07.11.2008
Offline
163
#7

Писал в блоге подробную инструкцию по исключениям для редиректа для роботса и служебных файлов — https://fladex.ru/news/exceptions-for-301

Услуги посредника на бирже контента: информационные статьи 40₽/1000, «продающие» тексты 50₽/1000. Пишите в личку. Помогаю правильно переехать на https (/ru/forum/973447). Подписывайтесь на мой канал в телеграм: https://t.me/fladex (https://t.me/fladex).
I
На сайте с 21.09.2011
Offline
125
#8

После переезда на https, ссылки изображений на WP обязательно должны быть относительными ввида /wp-content/uploads/../foto.jpg ?

Я просто через плагин поменял все внутренние ссылки на сайте c http://site.ru на //site.ru, поэтому часть изображений имееют полный адрес с https и остальные //site.ru/wp-content/../foto.jpg

богоносец
На сайте с 30.01.2007
Offline
754
#9
_Vorobey_:
т.е. предлагаете забить?

Нет. Просто мнение такое есть. И в некоторых ситуациях оно правильнее... хелпы перечитайте внимательно.

Ну не трудно же перебдеть. А 301 == нет страниц == созданию темы про вылет из индекса.

А так пользуйтесь соотв. возможностями GWT и ЯВМ.

А признаки для ботов могут быть неожиданными для масс /ru/forum/822367

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий