Форум Практика оптимизации Любые вопросы от новичков по оптимизации

robots.txt - убийца страниц (Да или Нет)

J
На сайте с 08.06.2006
Offline
844
joost
366

Есть страница в индексе.

Если эту страницу прописать в robots.txt, но на сайте она остается - будет ли она удалена из индекса?

S2
На сайте с 24.07.2006
Offline
92
scorpio23
#1

ЕСли вы пропишете в robots.txt:

User-Agent: *

Disallow: имя страницы

То она удалиться из индекса.

Монетизируйте свой блог (http://www.blogocash.ru/?w=1964). - Цена за пост от 0.5$ до 30$ и более в зависимости от показателей блога. Разместите свой пост в блогах в каталоге Yaca: 511 (http://www.blogocash.ru/?w=1964).
J
На сайте с 08.06.2006
Offline
844
joost
#2

Еще вопрос! А как сделать чтобы страницу не индексировал только Гугл или Яндекс?

S2
На сайте с 24.07.2006
Offline
92
scorpio23
#3

почитайте здесь:

http://www.robotstxt.ru/

J
На сайте с 08.06.2006
Offline
844
joost
#4
scorpio23:
почитайте здесь:
http://www.robotstxt.ru/

Тогда как именует себя робот Гугла и Яндекса?

S2
На сайте с 24.07.2006
Offline
92
scorpio23
#5
joost:
Тогда как именует себя робот Гугла и Яндекса?

Вот так

User-agent: Yandex

Disallow:

User-agent: Googlebot

Disallow:

Здесь более подробно расписано:

http://robotstxt.org.ru/

J
На сайте с 08.06.2006
Offline
844
joost
#6

scorpio23, Спасибо за помощь!

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий