Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Яндекс игнорирует robots

NEOmancer
На сайте с 06.07.2007
Offline
80
NEOmancer
382

На сайте есть файл robots.txt, содержимое которого

User-Agent: *

Disallow: /category/

Disallow: /user/

Disallow: /print:

Disallow: ?do=search

Disallow: /go.php

но Яндекс всё равно заносит в индекс страницы с /print: , ?do=search и т.д. Что такое, не пойму. Подскажите, пожалуйста.

Весь я (http://www.webmancer.org/)
Igorrok
На сайте с 28.08.2007
Offline
117
Igorrok
#1

Есть некоторые ошибки

Disallow: ?do=search

смените на

Disallow: /?do=search

а вообще желательно так

Disallow: /?*do=search

User-Agent: *

смените на

User-agent: *

Дальше должно быть все нормально.

Истина где-то рядом...
G
На сайте с 10.03.2006
Offline
103
greates
#2

у меня народный сайт до сих пор в индексе что в гугле, что в яше, с закрытым роботсом.

LEOnidUKG
На сайте с 25.11.2006
Offline
1773
LEOnidUKG
#3

а ещё лучше:

User-agent: Yandex и для него повторить)))

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/ ✅ Настройка и оптимизация серверов https://getmanyspeed.ru/
Рыська
На сайте с 15.02.2008
Offline
39
Рыська
#4
LEOnidUKG:
а ещё лучше:

User-agent: Yandex и для него повторить)))

И хост не забыть повторить. :)))

* * * Продаются буквы :)
kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#5

У вас страница "принт" имеет следующий вид:

http://www.webmancer.org/2008/03/04/print:рage,1,brelok.html

и поэтому

Disallow: /print:

работать НЕ будет! Так как путь указан не верно ...

Надо сделать так:

Disallow: /*print:

Тоже самое, наверное, и с ?do=search (я просто не нашёл этих ссылок-страниц на вашем сайте)

Igorrok
На сайте с 28.08.2007
Offline
117
Igorrok
#6
kimberlit:
Тоже самое, наверное, и с ?do=search (я просто не нашёл этих ссылок-страниц на вашем сайте)

Это защита от шибко умных :)

M
На сайте с 21.08.2007
Offline
7
Morgentau
#7
Яндекс всё равно заносит в индекс страницы

А как это проверить?

SK
На сайте с 31.01.2005
Offline
72
SerK
#8
Morgentau:
А как это проверить?

Зарегистрируйтесь здесь:

http://webmaster.yandex.ru/wmconsole

Многое станет известно.

Форум "ПолитДиалог" (http://forum.politdialog.ru/): мы не правые, не левые, не за власть, не против нее. Мы - граждане России, все зависит только от нас! С уважением, Сергей Кротов.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий