Slogg: Но есть одна непонятка. Если /page/ запрещает индексировать страницы какого либо раздела, кроме основной, то как он проиндексирует контент на ней??
Никак. Индексации /page/ не будет. Но бот может добраться на страницах новостей через xml карту или похожих новостей.
Slogg: И вот еще. Если мой сайт забить в гугл,то появляется несколько ссылок запрещенных в роботе с описанием:"Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее..." Они исчезнут потом*????
Мой вам совет - найдите человека, который за 20$ почистит сайт от шеллов и поставят необходимые заплатки. Или который хотябы знает куда нужно правильно размещать запреты к файлам, чтобы не нарушать работу сайта.
Потому что вы там понаставили стопиццот RewriteEngine и RewriteBase-ов не правильно. У вас должен быть один RewriteEngine и один RewriteBase. И добавлять редиректы нужно после RewriteBase.
<IfModule mod_rewrite.c>
RewriteEngine on #один раз пишется
RewriteBase / #и это тоже пишется один раз
#редирект домена должен находиться в самом вверху
#перед остальными редиректами
RewriteCond %{HTTP_HOST} ^www\.(.+) [NC]
RewriteRule .* http://%1/$0 [L,R=301]
Значение хост разве не только для яшки?? Я где-то целый холивар наблюдал, что если и писать Host: site.ru, то только для яндекс бота
Host только для яшки но под общею секцию, в конце после всех правил.
Хм. А почему к примеру анализатор яндекса утверждает, что только ссылки вида site.ru/page/ запрещены, а site.ru/catalog/page/ разрешены.
Потому что /page/ на запрещает /catalog/page/. Для него нужно написать запрет с маской /*/page/
Тс вот какой должен быть Robots.txt
Роботс от алаева. Только сегодня видел вопрос про этот роботс где-то в разделе Любые вопросы.
/page/ лучше убрать.
Но есть одна непонятка. Если /page/ запрещает индексировать страницы какого либо раздела, кроме основной, то как он проиндексирует контент на ней??
Никак. Индексации /page/ не будет. Но бот может добраться на страницах новостей через xml карту или похожих новостей.
И вот еще. Если мой сайт забить в гугл,то появляется несколько ссылок запрещенных в роботе с описанием:"Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее..." Они исчезнут потом*????
Могут исчезнуть, могут не исчезнуть...
Хорошо спасибо, а кого можете посоветовать из пользователей серча?
Напишите в ЛС. Поможем.
Он находится .htaccess в паблик аштимл
А зачем его в корень когда по сути для прямого обращения нужна только /engine/ajax/?
Именно с этим
Смысл? Это не защита. Вам перезапишут какой нибудь файл и все, это "мнимая" защита вас не спасет. Лучше эти 15$ потратить со смыслом.
MrMalik, откуда вы взяли этот костыль?
Мой вам совет - найдите человека, который за 20$ почистит сайт от шеллов и поставят необходимые заплатки. Или который хотябы знает куда нужно правильно размещать запреты к файлам, чтобы не нарушать работу сайта.
Это не попытка, с моего сайта идут переходы на этот домен с пустой страницей,
Что считаются "переходы"? Редирект с передачей реферера будет переходом?
Вместо </IfModule mod_rewrite.c> - </IfModule>
И комментарий уберите после RewriteBase.
Правильно?
Потому что вы там понаставили стопиццот RewriteEngine и RewriteBase-ов не правильно. У вас должен быть один RewriteEngine и один RewriteBase. И добавлять редиректы нужно после RewriteBase.
Редиректом удаляет любые параметры (QUERY_STRING) у html урл'ов.