Белый проект, делаю сам, окупаемость за 2015 год - 330%
Вопрос, страница в этих запрещённых категориях проиндексируются?
Да, в вашем случае закрыты от индексации только конкретные страницы.
Исключить вложенные страницы можно, например, так же как вы сделали с адресом: Disallow: /captcha*.
rel="canonical" есть смысл использовать для одинаковых страниц, которые доступны по разным адресам, чтобы исключить дубли.
Если пользуетесь я.вебмастером, проверить обработку правил роботс можно здесь: https://webmaster.yandex.ru/site/robots.xml
У меня наоборот, за 1-7 февраля средняя цена клика выросла, по сравнению с январем на 19%.
Можно вот так
RewriteRule ^страница.html$ - [G]---------- Добавлено 09.12.2015 в 10:26 ----------Если в ответ нужна 404 ошибка, то так
RewriteRule ^страница.html$ - [R=404,L]
конечно если не смущает, что это редирект
Еще можно в robots добавить
Clean-param: refresh /
тогда такие ссылки в индексе не появятся
BBBoris, как вы удивительно выборочно читаете текст из сообщений.
А изначально файл запрашивается откуда?
http://домен/assets/2be214d1/yii.js
touch -r file.txt file.txt.gz
Попробуйте так:
location /api/ {
if (!-e $request_filename){
rewrite ^(.*)$ /index.php last;
}
у себя проверил, всё работает.
Там ничего не сказано про локальную сеть, зато указаны условия при которых данный пинг возможен:
