Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Запрет индексирования

123 4
AleM
На сайте с 18.10.2005
Offline
10
AleM
#11

Сложно не перейти на офтоп отвечая на аналогичные вопросы...

Yanhert, вы всегда верите на слово всему сказанному?

Заходите и к нам на огонек MasterTalk - второй форум оптимизаторов в РуНете (http://mastertalk.ru/) надеюсь станет и первым :)
Azzpirin
На сайте с 15.04.2006
Offline
45
Azzpirin
#12

Не путайте человека, robots.txt для того и создан, чтобы не давать паукам индексировать страницы и разделы.

Телефон в Москве +7-962-900-77-98 www.drozdov.name (www.drozdov.name) Есть такой недопоисковик и называется он Яндекс.
[Удален]
#13

Спасибо! Буду пробывать.

M
На сайте с 21.11.2004
Offline
230
maximumx
#14
Yanhert:
Ясно! И стало быть поисковый робот вообще не будет смотреть на файлы ааа.html и bbb.html или всётаки "пощупает" ?

Не все боты придерживаются правил.

Продвигаю домены руками (http://roke.ru)
[Удален]
#15

Интересует Яндекс бот.

[Удален]
#16

еще доп вопрос. нужно ли в head что либо указывать для робота?

вот к примеру он заполз на индекс.хтмл а там ссылочка стоит на ааа.хтмл.

а в роботс.тхт напиан запрет для индексирования этого файла) как быть? что писать?

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
AleM
На сайте с 18.10.2005
Offline
10
AleM
#17

Первое, что делает "культурный" робот (каковым является и робот яндекса) - читает файл роботс, а уже потом всё остально е в соответствии с указанными для него правилами.

pauk
На сайте с 26.01.2005
Offline
543
pauk
#18
Yanhert:
Ну да да это понятно, а что за тайная база такая как говорит pauk и на что она влияет?

Ну, не тайная, а скажем, непубличная. Возможно, Яндекс как-то использует для оценки поискового спама на сайте.

Hi!
[Удален]
#19
pauk:
Ну, не тайная, а скажем, непубличная. Возможно, Яндекс как-то использует для оценки поискового спама на сайте.

Ясно! Врядли Яндекс будет это делать имхо...

[Удален]
#20
AleM:
Первое, что делает "культурный" робот (каковым является и робот яндекса) - читает файл роботс, а уже потом всё остально е в соответствии с указанными для него правилами.

Тоесть в хтмл ненадо прописывать чтото для ротобов? хватит обычного:

<head>

<title>111.</title>

<meta http-equiv="Content-Type" content="text/html; charset=windows-1251">

<meta name="description" content="111.">

<meta name="keywords" content="111.">

</head>

123 4

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий