Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Robots.txt

G
На сайте с 12.09.2010
Offline
14
Gooood
374

Нужно закрыть для индексации в Яндекс несколько страниц, так правильно?

User-agent: Yandex

*Disallow: /index.php/1.html #

*Disallow: /index.php/2.html #

*Disallow: /index.php/3.html #

*Disallow: /index.php/4.html #

Как закрыть их для остальных поисковиков?

iguania
На сайте с 10.12.2010
Offline
72
iguania
#1
Gooood:
Нужно закрыть для индексации в Яндекс несколько страниц, так правильно?

User-agent: Yandex
*Disallow: /index.php/1.html #
*Disallow: /index.php/2.html #
*Disallow: /index.php/3.html #
*Disallow: /index.php/4.html #

Как закрыть их для остальных поисковиков?

Перед Disallow никаких звездочек не должно быть.

Знак решетки для чего в конце каждой строки? Он в роботс ставится для указания комментария и только

Не нужно отдельно для яндекса закрывать, сразу для всех и закройте

User-agent: *

Вы лучше бы написали адреса страниц, которые вам нужно закрыть от индексации...

Все всегда заканчивается хорошо. Если все закончилось плохо, значит, это еще не конец…
Составление файла robots.txt Как правильно составить robots.txt OpenAI разрешила сайтам закрывать

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий