Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Помогите составить Robots.txt

L
На сайте с 18.12.2010
Offline
22
lovesport
470

Мне надо закрыть от индексации в DLE страницы:

форма обратной связи, статистика и прочее. Если уже есть такой ответ на каком нибудь сайте, то скиньте пожалуйста сылку, или если знаете, напишитие в теме сам текст, который должен быть в robots.txt И ещё вопрос: "Надо ли на robots.txt ставить chmod 777?".

nik2019
На сайте с 28.04.2009
Offline
182
nik2019
#1

три 777 можно не ставить-)

Многодарю
igrinov
На сайте с 09.01.2009
Offline
134
igrinov
#2
lovesport:
напишитие в теме сам текст, который должен быть в robots.txt

как вам напишут текст, если вы не указали как выглядят адреса страниц

lovesport:
форма обратной связи, статистика и прочее
Персональный VPN/Socks сервер (https://cp.inferno.name/aff.php?aff=2419)
chak
На сайте с 28.09.2010
Offline
5
chak
#3
User-agent: Yandex
Disallow: /backup/
Disallow: /engine/
Disallow: /favorites/
Disallow: /language/
Disallow: /static/
Disallow: /tags/
Disallow: /templates/
Disallow: /uploads/
Disallow: /user/
Disallow: /addnews.html
Disallow: /admin.php
Disallow: /autobackup.php
Disallow: /rules.html
Disallow: /statistics.html
Disallow: /*do=

Host: www.адрес_сайта

User-agent: *
Disallow: /backup/
Disallow: /engine/
Disallow: /favorites/
Disallow: /language/
Disallow: /static/
Disallow: /tags/
Disallow: /templates/
Disallow: /uploads/
Disallow: /user/
Disallow: /addnews.html
Disallow: /admin.php
Disallow: /autobackup.php
Disallow: /rules.html
Disallow: /statistics.html
Disallow: /*do=
Disallow: /*page/
Sitemap: http://адрес_сайта/sitemap.xml

По идее вот так. Тут опциально, что-то можете убрать, а что-то добавить

L
На сайте с 18.12.2010
Offline
22
lovesport
#4
chak:
По идее вот так. Тут опциально, что-то можете убрать, а что-то добавить

Спасибо! Очень благодарен...)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий