Все тот же родной robots.txt

RV
На сайте с 21.07.2005
Offline
14
410

Знаю, что наверняка не раз упоминалось, но интересует следующее.

Яндекс взял к себе в базу около 2-х десятков ошибочных страниц. К сожалению ошибки не выдает, приходится через робот тхт.

User-Agent: *

Disallow: /news/News_264_1.htm

Disallow: /news/News_145_1.htm

Пойдет ли такая запись для запрета страницы http://site.ru/news/News_264_1.htm ?

Выкинет ли из базы Яндекс все эти страницы??

Спасибо

С Уважением Роман В.
Евген
На сайте с 28.02.2004
Offline
1040
#1

да пойдет, да выкинет.

пустые строки только удалите.

Арбитражишь? подними РОИ на 10-20% - бонусы на пополнение рекламных сетей (тм, мт, твк, твс) (https://eprofit.me/ru/partner?olymp)
RV
На сайте с 21.07.2005
Offline
14
#2

Спасибо.

А пустые строки это из-за копирования.

А ничего что таких записей почти аж 34?

Piligrim
На сайте с 10.04.2005
Offline
145
#3
А ничего что таких записей почти аж 34?

хоть мильён

Директив (http://directiv.ru) - поисковый маркетинг Адвербо (http://adverbo.ru) - продвижение с ежедневными списаниями за топ или трафик
andrej-ilin
На сайте с 28.03.2005
Offline
42
#4
А ничего что таких записей почти аж 34?

Можно сократить:

Disallow: /news/News_26

исключает все страницы, адрес которых начинается с

http://site.ru/news/News_26

andrej-ilin@yandex.ru
RV
На сайте с 21.07.2005
Offline
14
#5

andrej-ilin,

Дык яж сократил, просто для примера написал снизу.

Всем спасибо, Яка понял меня и озотно написал что удалит.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий