siv1987

siv1987
Рейтинг
427
Регистрация
02.04.2009
Slogg:
Значение хост разве не только для яшки?? Я где-то целый холивар наблюдал, что если и писать Host: site.ru, то только для яндекс бота

Host только для яшки но под общею секцию, в конце после всех правил.

Slogg:
Хм. А почему к примеру анализатор яндекса утверждает, что только ссылки вида site.ru/page/ запрещены, а site.ru/catalog/page/ разрешены.

Потому что /page/ на запрещает /catalog/page/. Для него нужно написать запрет с маской /*/page/

Tvix:
Тс вот какой должен быть Robots.txt

Роботс от алаева. Только сегодня видел вопрос про этот роботс где-то в разделе Любые вопросы.

/page/ лучше убрать.

Slogg:
Но есть одна непонятка. Если /page/ запрещает индексировать страницы какого либо раздела, кроме основной, то как он проиндексирует контент на ней??

Никак. Индексации /page/ не будет. Но бот может добраться на страницах новостей через xml карту или похожих новостей.

Slogg:
И вот еще. Если мой сайт забить в гугл,то появляется несколько ссылок запрещенных в роботе с описанием:"Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее..." Они исчезнут потом*????

Могут исчезнуть, могут не исчезнуть...

MrMalik:
Хорошо спасибо, а кого можете посоветовать из пользователей серча?

Напишите в ЛС. Поможем.

MrMalik:
Он находится .htaccess в паблик аштимл

А зачем его в корень когда по сути для прямого обращения нужна только /engine/ajax/?

MrMalik:
Именно с этим

Смысл? Это не защита. Вам перезапишут какой нибудь файл и все, это "мнимая" защита вас не спасет. Лучше эти 15$ потратить со смыслом.

MrMalik, откуда вы взяли этот костыль?

Мой вам совет - найдите человека, который за 20$ почистит сайт от шеллов и поставят необходимые заплатки. Или который хотябы знает куда нужно правильно размещать запреты к файлам, чтобы не нарушать работу сайта.

andrei-07:
Это не попытка, с моего сайта идут переходы на этот домен с пустой страницей,

Что считаются "переходы"? Редирект с передачей реферера будет переходом?

Вместо </IfModule mod_rewrite.c> - </IfModule>

И комментарий уберите после RewriteBase.

KindGhost:
Правильно?

Потому что вы там понаставили стопиццот RewriteEngine и RewriteBase-ов не правильно. У вас должен быть один RewriteEngine и один RewriteBase. И добавлять редиректы нужно после RewriteBase.


<IfModule mod_rewrite.c>
RewriteEngine on #один раз пишется
RewriteBase / #и это тоже пишется один раз

#редирект домена должен находиться в самом вверху
#перед остальными редиректами
RewriteCond %{HTTP_HOST} ^www\.(.+) [NC]
RewriteRule .* http://%1/$0 [L,R=301]

RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_URI} !\..+$
RewriteCond %{REQUEST_URI} !/$
RewriteRule (.*) /$1/ [R=301,L]

RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^(.*)$ index.php [QSA,L]
</IfModule mod_rewrite.c>

Редиректом удаляет любые параметры (QUERY_STRING) у html урл'ов.

Всего: 6568