Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Robots.txt для DLE

Ambal007
На сайте с 19.08.2012
Offline
70
Ambal007
1462

Добрый час, подскажите правильный ли robots.txt для DLE ? что исправить?

User-agent: *

Disallow: /engine/go.php

Disallow: /engine/download.php

Disallow: /user/

Disallow: /newposts/

Disallow: /statistics.html

Disallow: /*subaction=userinfo

Disallow: /*subaction=newposts

Disallow: /*do=lastcomments

Disallow: /*do=feedback

Disallow: /*do=register

Disallow: /*do=lostpassword

Disallow: /*do=addnews

Disallow: /*do=stats

Disallow: /*do=pm

Disallow: /?

Sitemap: http://xxxxxxxxxxx.ru/sitemap.xml

дани мапов
На сайте с 06.09.2012
Offline
204
дани мапов
#1

Страницы для печати, пагинацию, календарь можно закрыть. И проверьте может index.php тоже прописать? 


Disallow: /index.php

Disallow: /print:

Disallow: /*/page/

Disallow: /newposts

Disallow: /2012/

Disallow: /2013/

Disallow: /2014/

Disallow: /2015/
Написание и доработка скриптов (PHP, MySQL, JavaScript, jQuery) (/ru/forum/811046)
Оу!
На сайте с 19.12.2007
Offline
239
Оу!
#2

А я вот таким роботсом пользуюсь: http://alaev.info/blog/post/3900

Купить мобильные прокси со скидкой 20%: https://surl.li/eijqnt
bocharov56
На сайте с 01.10.2011
Offline
31
bocharov56
#3

Вот такой файл я использую:

User-agent: *
Allow: /uploads/posts/
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /page/
Disallow: */page/*
Disallow: /tags/
Disallow: /2012/
Disallow: /2013/
Disallow: /engine/
Disallow: /engine/download.php
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /lastnews/
Disallow: /catalog/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /banners/
Disallow: /*action=mobile$
Disallow: /do=*
Disallow: /*do=*
Disallow: /?*
Sitemap: http://ваш_домен.ru/sitemap.xml

User-agent: Yandex
Allow: /uploads/posts/
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /page/
Disallow: */page/*
Disallow: /tags/
Disallow: /2012/
Disallow: /2013/
Disallow: /engine/
Disallow: /engine/download.php
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /lastnews/
Disallow: /catalog/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /banners/
Disallow: /*action=mobile$
Disallow: /do=*
Disallow: /*do=*
Disallow: /?*
Sitemap: http://ваш_домен.ru/sitemap.xml
Host: ваш_домен.ru
Обзоры сайтов (http://vebmaster24.ru/moi-uslugi/122-razmeschu-statyu-vechnuyu-ssylku-postovoy-po-priemlemoy-cene.html), постовые, контекстные ссылки на SEO блоге недорого (Примеры (http://vebmaster24.ru/obzori-blogov-forumov/)).
H
На сайте с 11.01.2013
Offline
4
hilomoki
#4 


User-agent: * 
Disallow: /*print 
Disallow: /*userinfo 
Disallow: /*subaction=userinfo 
Disallow: /*subaction=newposts 
Disallow: /2013/ 
Disallow: /index.php?subaction=userinfo 
Disallow: /backupurl.php 
Disallow: /admin.php 
Disallow: /language/ 
Disallow: /templates/ 
Disallow: /tags/ 
Disallow: /upgrade/ 
Disallow: /backup/ 
Disallow: /engine/ 
Disallow: /user/ 
Disallow: /favorites/ 
Disallow: /index.php?do=register 
Disallow: /*do=lastcomments 
Disallow: /*do=feedback 
Disallow: /*do=register 
Disallow: /*do=lostpassword 
Disallow: /*do=addnews 
Disallow: /*do=stats 
Disallow: /*do=pm 
Disallow: /statistics.html 
Disallow: /index.php 
Disallow: /index.php?do=search&mode=advanced 
Disallow: /index.php?do=addnews 
Disallow: /index.php?do=feedback 
Disallow: /index.php?do=lostpassword 
Disallow: /index.php?do=pm 
Disallow: /index.php?do=stats 
Disallow: /index.php?do=search 
Disallow: /index.php?subaction=newposts 
Disallow: /index.php?do=rules 
Disallow: /engine/images.php?area= 
Sitemap: http://site.ru/sitemap.xml 

User-agent: Yandex 
Disallow: /*print 
Disallow: /*userinfo 
Disallow: /*subaction=userinfo 
Disallow: /*subaction=newposts 
Disallow: /2013/ 
Disallow: /index.php?subaction=userinfo 
Disallow: /backupurl.php 
Disallow: /admin.php 
Disallow: /language/ 
Disallow: /templates/ 
Disallow: /tags/ 
Disallow: /upgrade/ 
Disallow: /backup/ 
Disallow: /engine/ 
Disallow: /user/ 
Disallow: /index.php?do=register 
Disallow: /*do=lastcomments 
Disallow: /*do=feedback 
Disallow: /*do=register 
Disallow: /*do=lostpassword 
Disallow: /*do=addnews 
Disallow: /*do=stats 
Disallow: /*do=pm 
Disallow: /statistics.html 
Disallow: /index.php 
Disallow: /index.php?do=search&mode=advanced 
Disallow: /index.php?do=addnews 
Disallow: /index.php?do=feedback 
Disallow: /index.php?do=lostpassword 
Disallow: /index.php?do=pm 
Disallow: /index.php?do=stats 
Disallow: /index.php?do=search 
Disallow: /index.php?subaction=newposts 
Disallow: /index.php?do=rules 
Disallow: /engine/images.php?area= 
Host: site.ru 
Sitemap: http://site.ru/sitemap.xml
BG
На сайте с 03.10.2010
Offline
195
BrightGuy
#5
hilomoki:



Disallow: /upgrade/

Совсем шутите?

А потом будет куча тем про мобильный редирект и прочие взломы))

-= Сайты на заказ | Правки, обновление, работы по DLE =- ( /ru/forum/791118 ) Telegram: @ruslansh ( tg://resolve?domain=ruslansh )
H
На сайте с 11.01.2013
Offline
4
hilomoki
#6
BrightGuy:
Совсем шутите?
А потом будет куча тем про мобильный редирект и прочие взломы))

Тут вы правы, моя ошибка. ЗАкрыто.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий