semenov

Рейтинг
320
Регистрация
28.10.2005
Knigorub:
поскольку робот (тот, что определяется, как Yandex) продолжает шерстить по сайту.

Не сразу реагирует на запрет

> Точное количество записей составляет 10 тысяч 200 штук

А в файле 2497, почему?

Cell:

Можете добавить
Disallow: /search/
(чтобы мусор из поиска не индексировался)

Уже есть Disallow: /search

Spartak:
да
10 символов

Дак в htaccess почему наоборот?

RewriteCond %{HTTP_HOST} ^mysite.ru$ [NC]

RewriteRule ^(.*)$ http://www.mysite.ru/$1 [R=301,L]

error2k:
тоже неплохо жмёт

Речь о очистке, а не о сжатие. Разные вещи, одно другому не мешает

rank:
site.com/exemple - ссылка на файл с непонятным расширением
вот так site.com/exemple/ правильнее

Без разницы

"online jobs" - мегаконкурентный запрос?

<meta name="robots" content="none">

Поставьте на свои сайты для укрепления веры 😂

<meta name="robots" content="...">

<meta http-equiv="refresh" content="N; url=URL">

еще как учитываются (;

> При кодировании URL, все не входящие в набор ASCII символы, заменяются знаком "%", за которым следуют две шестнадцатеричные цифры, соответствующие символам из набора ISO-8859-1

К чему вам квадратные скобки в урл вообще?

Всего: 4801