Форум Сайтостроение Веб-строительство

Всё тот же robots.txt и dle

12
Станислав
На сайте с 27.12.2009
Offline
258
Станислав
#11

ТС сделайте проще, зачем вам править шаблон, ведь можно в роботсе куда проще сделать.

Можно запретить боту посещать все страницы, но при этом разрешить те которые нужно индексировать. Тут просто нужно знать что именно нужно индексить боту

У примеру роботс можно написать следующего содержания.

Вот к примеру у меня на некоторых форумах в роботсе прописано 

User-agent: Googlebot

User-agent: Yandex

Allow: /$

Allow: /index.

Allow: /$

Allow: /index.php$

Allow: /viewforum.php?f=

Allow: /viewtopic.php?t=

Disallow: /

Host: site.ru

Индексируют ПСы только то что мне нужно, если бы я начал запрещать директории и все что не нужно индексить, то роботс получился бы в 3-4 раза больше =)

Мы там, где рады нас видеть.
а так можно сделать Закрыть доступ к ссылка Как в гугл попали
mfl
На сайте с 16.10.2006
Offline
134
mfl
#12
/razdel/novosti.html

Disallow: /*/*.html

A2
На сайте с 17.11.2009
Offline
52
asmakovec2
#13
Speculum:
Возможно, руки у меня и кривоваты, но закрыть в robots.txt директорию я могу. Однако, это никак не влияет на включение Яндексом (некоторых) и Гуглом (почти всех) закрытых таким образом страниц в индекс.

Более того, Гугл сам пишет о том, что плевать он хотел на robots.txt, если есть ссылки на страницу. И опять же Гугл говорит, что он точно не будет индексировать, если вставить упомянутый мной метатег.

И да, спасибо за "добрые" слова :)

robots.txt показывай, там явно есть ошибки.

Speculum
На сайте с 23.11.2009
Offline
126
Speculum
#14

Я - не верблюд :) и доказывать это я не вижу смысла.

Единственное, что я могу сказать: http://www.google.com/support/webmasters/bin/answer.py?hl=ru&answer=156449

Безопасная тизерка - от 1 рубля за клик! (http://news.gnezdo.ru/p/0/2388/)
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий