запрет индексации страницы

12
mts
На сайте с 10.06.2006
Offline
108
mts
1067

Сегодня яша наконец то проиндексировал мой сайт, но на запрет интексации страницы view.php внимания не обратил... что я не так сделал?

в Robots.txt:

Host: www.stb.net.ru

User-agent: *

Disallow: /view.php

Разработка и поддержка сайтов (http://webmaster24.ru/)
AVV
На сайте с 31.07.2006
Offline
84
AVV
#1

Вот так обратит:

User-agent: Yandex

Disallow: /view

Host: www.stb.net.ru

User-agent: *

Disallow: /view

Z
На сайте с 23.06.2006
Offline
16
zig
#2
mts:
Сегодня яша наконец то проиндексировал мой сайт, но на запрет интексации страницы view.php внимания не обратил... что я не так сделал?

в Robots.txt:
Host: www.stb.net.ru
User-agent: *
Disallow: /view.php

http://www.citforum.ru/internet/search/rbtspec.shtm

http://www.webmascon.com/topics/adv/8a.asp

Лёлик
На сайте с 28.04.2006
Offline
54
#3

User-agent: Yandex

Disallow: /view.php

Host: www.stb.net.ru

User-agent: *

Disallow: /view.php

AVV
На сайте с 31.07.2006
Offline
84
AVV
#4

Лёлик, а если в httpd.conf включена опция Options +MultiViews, тогда как?

Все-таки правильный вариант будет:

User-agent: Yandex

Disallow: /view

Host: www.stb.net.ru

User-agent: *

Disallow: /view

т.е. запрет и для http://site.ru/view.php и для просто http://site.ru/view и даже для http://site.ru/view/

Лёлик
На сайте с 28.04.2006
Offline
54
#5
AVV:
Лёлик, а если в httpd.conf включена опция Options +MultiViews, тогда как?

Все-таки правильный вариант будет:

User-agent: Yandex
Disallow: /view
Host: www.stb.net.ru

User-agent: *
Disallow: /view

т.е. запрет и для http://site.ru/view.php и для просто http://site.ru/view и даже для http://site.ru/view/

Топикстартеру нужно запретить только view.php

AVV
На сайте с 31.07.2006
Offline
84
AVV
#6
Лёлик:
Топикстартеру нужно запретить только view.php

В таком случае, если будет где-то стоять бэклинк http://site.ru/view, то эта страница (view.php) проиндексируется, поскольку, это - одна и та же страница с разными адресами.

Лёлик
На сайте с 28.04.2006
Offline
54
#7
AVV:
В таком случае, если будет где-то стоять бэклинк http://site.ru/view, то эта страница (view.php) проиндексируется, поскольку, это - одна и та же страница с разными адресами.

А если у автора есть страницы:

view.html

view.htm

view.php

Какую тогда он проиндексирует?

AVV
На сайте с 31.07.2006
Offline
84
AVV
#8
Лёлик:
А если у автора есть страницы:
view.html
view.htm
view.php
Какую тогда он проиндексирует?

Это - другое дело. :) Пусть решает автор.

Если пользователь запросит несуществующую директорию, будет произведен поиск файла с похожим именем и самый похожий будет выведен согласно его типу MIME.


# Если задана директива MultiViews в числе значений Options,
# сначала сервер попытается открыть файл имя.html и включит его в
# листинг, если файл существует. Если файл имя.html не существует,
# сервер переориентируется на открытие файла
# имя.txt и включение его в листинг в виде простого текста.

цитата из httpd.conf

См. также: http://httpd.apache.org/docs/1.3/content-negotiation.html

mts
На сайте с 10.06.2006
Offline
108
mts
#9

спасибо вариант

User-agent: Yandex
Disallow: /view
Host: www.stb.net.ru

User-agent: *
Disallow: /view

меня вполне устроит, только "Host: www.stb.net.ru" я писал чтобы сай индексировался с WWW а не без, а вы отнесли это только к яндексу

Лёлик
На сайте с 28.04.2006
Offline
54
#10
mts:
спасибо вариант

меня вполне устроит, только "Host: www.stb.net.ru" я писал чтобы сай индексировался с WWW а не без, а вы отнесли это только к яндексу

Для остальных 301 редирект.

файл .htaccess:

Options +FollowSymLinks
RewriteEngine on
RewriteCond %{HTTP_HOST} ^stb.net.ru
RewriteRule ^(.*)$ http://www.stb.net.ru/$1 [R=permanent,L]
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий