подскажите по роботс.тхт

12 3
U
На сайте с 22.11.2010
Offline
34
1117

подскажите, пожалуйста, при старте нового сайта, что обязательно и желательно в роботс.тхт прописать и как.

regnet
На сайте с 12.11.2009
Offline
164
#1
Ulibkin:
подскажите, пожалуйста, при старте нового сайта, что обязательно и желательно в роботс.тхт прописать и как.

Смотря какой двиг, а вообще каждый по себя настраивает, некоторые теги закрывают, некоторые нет, так что тут сугубо личное дело каждого.

U
На сайте с 22.11.2010
Offline
34
#2
regnet:
Смотря какой двиг, а вообще каждый по себя настраивает, некоторые теги закрывают, некоторые нет, так что тут сугубо личное дело каждого.

ну есть же такие вещи, как например, прописать правильную индексацию адреса, т.е. С 3w или без.

DDmitrij
На сайте с 31.03.2010
Offline
94
#3

Вот robotstxt.org.ru - должно быть полезным.

regnet
На сайте с 12.11.2009
Offline
164
#4
Ulibkin:
ну есть же такие вещи, как например, прописать правильную индексацию адреса, т.е. С 3w или без.

Для каждого движка разный роботс.

S
На сайте с 11.01.2011
Offline
1
#5
regnet:
Для каждого движка разный роботс.

Для DLE в паблике лежит вот этот генератор depositfiles._com/files/w1s8v2o82

tehno-music
На сайте с 19.06.2010
Offline
126
#6
Seobrabus:
Для DLE в паблике лежит вот этот генератор depositfiles._com/files/w1s8v2o82

а для вордпресс можете что-то хорошее подсказать, чтобы помагало автоматом настраивать данный файл?

Delen.ru ( https://delen.ru/ ) AlexHost: высокие конфигурации на VPS за 70 руб! ( https://alexhost.com/?affid=95 )
muratti
На сайте с 31.05.2008
Offline
238
#7
tehno-music:
а для вордпресс можете что-то хорошее подсказать, чтобы помагало автоматом настраивать данный файл?

Что там автоматом настраивать-то? И, неужели, поиск сломался?

/ru/forum/comment/7075201

Seobrabus:
Для DLE в паблике лежит вот этот генератор depositfiles._com/files/

Не зазнаешься от заработанных копеек? :D

Ulibkin:
подскажите, пожалуйста, при старте нового сайта, что обязательно и желательно в роботс.тхт прописать и как.

СМS все должны угадать? :)

xander kej
На сайте с 14.11.2008
Offline
117
#8

Ну например для джумлы универсальный роботс, чтото типо такого

User-agent: *
Host: www.site.ru
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

То есть запретить админ часть, все сервисные папки, временные и прочую лабурдень

Хостинг - идеальное сочетание цена/качество + хостинг под сателлиты тут (http://goo.gl/xWzMbJ)
G
На сайте с 01.09.2010
Offline
49
#9

для ВП роботс можно посмотреть тут

Позиции своих сайтов я снимаю здесь (http://goo.gl/1SQ1Sl)! А тут (http://goo.gl/GfReqm) я чекаю доноров. СМС рассылка (http://smstoyou.sms.ru/) по самой низкой цене.
D
На сайте с 31.03.2007
Offline
113
#10

Первый раз слышу, что роботс.тхт вообще обязателен.

Если вы о нем ничего не знаете, то он вам, скорее всего, и не нужен

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий