robots.txt для DLE

User-agent: *

Disallow: /engine/go.php

Disallow: /engine/download.php

Disallow: /user/

Disallow: /tags/

Disallow: /2013/ - обязательно!

Disallow: /newposts/

Disallow: /statistics.html

Disallow: /*subaction=userinfo

Disallow: /*subaction=newposts

Disallow: /*do=lastcomments

Disallow: /*do=addnews

Disallow: /*do=pm

Sitemap: http://www.site.com/sitemap.xml

Host: www.site.com

Более правильный вариант, а вообще тема заезженная, гуглить не пробовали?

Просто нашел миллионы вариантов. а какой лучше для видео сайта - хз.

Теги закрывать, т.к. сайт новый. Остальное стандартно как и для большинства новых сайтов. То, что вы закроете вас может и не спасти, количество и качество контента играет главную роль. Если видео, то описания писать надо уникальные и не меньше 1000 знаков, только с ключами сильно не играйтесь. Ну и внешняя оптимизация вам необходима. В общем удачи!

Я бы еще закрыл страницы пагинации:

Disallow: /*/page/

С начала был такой роботс как у вас, в вебмастере яши появились страницы закрытые от индексации в роботсе, сейчас сделал по этой статье количество закрытых стало уменшатся, да и гугл метатег роботс лучше восптинимает.

http://alaev.info/blog/post/3900

Если вас не напрягает править файлы движка, то гоу! А вопрос был задан о файле robots.txt. Какой вариант выбирать вам, лишь бы толк был этого.

Так много править...

Не могу понять, прошло 2 недели, как я поменял Роботс. У меня прописано Disallow: /tags/

Но в гугл все теги вошли. В чем может быть проблема?

гугл все съедает, даже то что в роботсе закрыто.

удаляйте ненужные странице в вебмастере

Извините за глупый вопрос, но как это сделать?