Правильный robots.txt для dle

[Удален]

21 декабря 2010, 18:52

4297

Напишите пожалуйста правильно robots.txt для Dle, что бы не было дублей.

258

Станислав

21 декабря 2010, 21:29

#1

9million:
Напишите пожалуйста правильно robots.txt для Dle, что бы не было дублей.

Все зависит от вашего ЧПУ, если ЧПУ Тип 1, то дублей будет намного меньше, если нет, хтачесом не обойтись, редиректить нужно будет юзеров и выбирать Тип 1

А так роботс что то вроде этого


User-agent: *

Disallow: /*print

Disallow: /admin.php

Disallow: /index.php?do=pm

Disallow: /index.php?do=stats

Disallow: /index.php?do=search

Disallow: /index.php?do=addnews

Disallow: /index.php?do=register

Disallow: /index.php?do=feedback

Disallow: /index.php?do=lostpassword

Disallow: /index.php?subaction=newposts

Disallow: /engine/

Disallow: /language/

Disallow: /templates/

Disallow: /backup/

Disallow: /tags/

Disallow: /page/

Disallow: /user/

Disallow: /addnews.html

Disallow: /2010/

Disallow: /2009/

Мы там, где рады нас видеть.

64

kiyuni

21 декабря 2010, 21:53

#2

А что значит?

Disallow: /2010/
Disallow: /2009/

A2

52

asmakovec2

21 декабря 2010, 22:06

#3

kiyuni:
А что значит?

Календарь.

у меня такой стоит

User-agent: *
Disallow: /*print
Disallow: /2009/
Disallow: /2010/
Disallow: /tags/
Disallow: /user/
Disallow: /engine/
Disallow: /favorites/
Disallow: /lastnews/
Disallow: /catalog/
Disallow: /statistics.html
Disallow: /rules.html
Disallow: /addnews.html
Disallow: /?do=tags
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=rules
Disallow: /index.php?do=feedback
Disallow: /index.php?do=register
Disallow: /index.php?do=lostpassword

37

erotic

21 декабря 2010, 23:28

#4

у меня такой

User-agent: Yandex
Disallow: /autobackup.php
Disallow: /user/
Disallow: /cache/
Disallow: /favorites/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /backup/
Disallow: /rek/
Disallow: /languages/
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Sitemap: http://сайт.ru/sitemap.xml
Host: сайт.ru

Я езжу на Opel Astra J GTC 1.4 MT6 (http://www.drive2.ru/cars/opel/astra_j_gtc/astra_j_gtc/andro07/)

14

Ru_seller

22 декабря 2010, 00:47

#5

Мой сенсей советовал делать такой роботс.тхт

User-agent: *
Disallow: /index.php?do=register
Disallow: /index.php?do=addnews
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /favorites/*
Disallow: /*index.php?do=pm*
Disallow: /*index.php?do=lostpassword
Disallow: /*index.php?subaction=newposts
Disallow: /user/*
Disallow: /admin/*
Disallow: /engine/
Disallow: /themes/*
Disallow: /include/*
Disallow: /backup/*
Disallow: /templates/*
Disallow: /language/*

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /

# digg mirror
User-agent: duggmirror
Disallow: /

User-agent: Yandex
Crawl-delay: 5

Disallow: /tag

Sitemap: http://сайт.ком/sitemap.xml
Host: сайт.ком

ICQ#8-35-36-400 Когда-нибудь я сделаю настоящий СДЛ и попаду в Rай. Партнерские.РФ (http://xn--80akaljqmjckh.xn--p1ai/) программы - отличный заработок в интернете!

91

otis22

22 декабря 2010, 00:57

#6

У меня такой стоит

Disallow: /autobackup.php

Disallow: /admin.php

Disallow: /user/

Disallow: /cache/

Disallow: /favorites/

Disallow: /cgi-bin/

Disallow: /engine/

Disallow: /language/

Disallow: /templates/

Disallow: /uploads/

Disallow: /backup/

Disallow: /languages/

Disallow: /index.php?do=pm

Disallow: /index.php?do=search

Disallow: /index.php?do=register

Disallow: /index.php?do=feedback

Disallow: /index.php?do=lostpassword

Disallow: /index.php?do=stats

Disallow: /index.php?do=addnews

Disallow: /index.php?subaction=newposts

Disallow: /?do=lastcomments

Disallow: /statistics.html

Disallow: /*/print*

Sitemap: http://сайт/sitemap.xml

Host: сайт

User-agent: Googlebot