Форум Практика оптимизации Частные вопросы - ранжирование, индексация, бан

Файл robots.txt

D7
На сайте с 15.09.2008
Offline
123
djon7
600

Здравствуйте, пишу очень редко но по делу, не судите строго но перегуглил все, а вот правильного ответа так и не нашел. И вот столкнулся сам, что прошел месяц, гугл еле проиндексировал 17% а яшя так и не соизволил 1 закинуть в индекс, вроде пишет что робот никудышний. Как составить правильный роботс.тхт?

User-agent: *

Disallow: /*print

Disallow: /user/

Disallow: /backup/

Disallow: /engine/

Disallow: /language/

Disallow: /templates/

Disallow: /upgrade/

Disallow: /tags/

Disallow: /page/

Disallow: /autobackup.php

Disallow: /admin.php

Disallow: /index.php?do=addnews

Disallow: /index.php?do=feedback

Disallow: /index.php?do=lostpassword

Disallow: /index.php?do=pm

Disallow: /index.php?do=register

Disallow: /index.php?do=stats

Disallow: /index.php?do=search

Disallow: /index.php?subaction=newposts

Disallow: /?do=lastcomments

Disallow: /statistics.html

Sitemap: http://мой сайт.com/sitemap.xml

Host: мой сайт.com

serjoo
На сайте с 12.09.2011
Offline
389
serjoo
#1

Унылый контент на форуме вашем видимо..

Мультур..
D7
На сайте с 15.09.2008
Offline
123
djon7
#2
serjoo:
Унылый контент на форуме вашем видимо..

Не знаю как унылый или нет, но то что уникальный это 100%

firstPR
На сайте с 24.02.2013
Offline
15
firstPR
#3

User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm

Вот

---------- Добавлено 26.07.2013 в 02:05 ----------

Disallow: /page/ - так точно делать нельзя, этим ты запретил чтение страниц со своего сайта.

Помогите из robots.txt в правильный robots.txt Глюк яндекса, с таким
serjoo
На сайте с 12.09.2011
Offline
389
serjoo
#4
djon7:
Не знаю как унылый или нет, но то что уникальный это 100%

бредотекст он самый уникальный - вы знали? :)

firstPR:
Disallow: /page/ - так точно делать нельзя, этим ты запретил чтение страниц со своего сайта.

пора спать, а завтра находим инфу о том, что пейдж можно и не закрывать, а даже продвигать ;)

BG
На сайте с 03.10.2010
Offline
195
BrightGuy
#5

А папку "engine" вообще лучше удалить, дыра в безопасности.

-= Сайты на заказ | Правки, обновление, работы по DLE =- ( /ru/forum/791118 ) Telegram: @ruslansh ( tg://resolve?domain=ruslansh )

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий