Правильный robots.txt в ДЛЕ

А не нужно закрывать его.

Это ошибка🍿

Gaborik добавил 28.07.2010 в 20:32

Полностью согласен, резких движений не должно быть...

У меня на софт сайте, на каждой страничке писал заголовок в тег h2, потом решил поменять на h1, логически лучше же должно быть да?

Так вот, трафик просел почти в два раза...

Так что не нужно резкости:)

А о каких цифрах идет речь? Подозреваю что сайт новый (1-4 месяца). Если так, то такая реакция поисковиков была на первоначальный индекс. Поэтому было резкое падение тарфа... Для сайтов с 2-3-4-5 летнем стажем это не страшно.

Проверенно на себе!

robots.txt для DataLife Engine

User-agent: *
Disallow: /2010/
Disallow: /backup/
Disallow: /catalog/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /favorites/
Disallow: /language/
Disallow: /lastnews/
Disallow: /newposts/
Disallow: /tags/
Disallow: /templates/
Disallow: /uploads/
Disallow: /user/
Disallow: /addnews.html
Disallow: /admin.php
Disallow: /autobackup.php
Disallow: /index.php?do=
Disallow: /index.php?subaction=newposts
Disallow: /rules.html
Disallow: /statistics.html
Disallow: /*page/
Host: example.com
Sitemap: http://example.com/sitemap.xml

В индексе будет:

- главная страница;

- категории;

- новости;

- статические страницы.

Это что? А если у меня чпу вида www.site.ru/2010/07/19/novostb.html, т.е будет запрет почти на всё?

Если ЧПУ типа 3, то эту строку удалите, т.к. сам я использую всегда ЧПУ типа 2, то добавил данную строку, которая относится к календарю.

Сайту около 7 месяцев.

В то время трафик был 140 стало 40 чел в день.

Вместо Disallow: /index.php?do=pm и т.п.

Ставьте Disallow: /index.php?*

Я особо не вижу смысла закрывать, кроме юзеров и тегов и то если это нужно.

Disallow: /page/1/ - Запрещает только от корня: www.site.ru/page/1/.

Disallow: */page/1/ - Запрещает www.site.ru/katolog/page/1/, www.site.ru/katalog2/beliberda/page/1/ и т.д. и т.п.

Написал заметку в своем блоге о составлении правильного robots.txt для DataLife Engine.