Форум Практика оптимизации Частные вопросы - ранжирование, индексация, бан

robots.txt для Datalife Engine

[Удален]
934

Кто что может сказать о создании такого робота?)

Сылка на пост ТУТ

Заранее спасибо!

[Удален]
#1

могу дать свой совет. НЕ парься.

У меня dle - я обажаю АГС

+ 18к хостов. без робота :)

VSubmiter добавил 23.02.2010 в 05:36

ссылку не дам

[Удален]
#2
VSubmiter:
могу дать свой совет. НЕ парься.

У меня dle - я обажаю АГС

+ 18к хостов. без робота :)

VSubmiter добавил 23.02.2010 в 05:36
ссылку не дам

Т.е robots.txt и sitemap.xml смысла нет добавлять?

A2
На сайте с 17.11.2009
Offline
52
asmakovec2
#3
Andryw:
Т.е robots.txt и sitemap.xml смысла нет добавлять?

У меня один сайт и без robots.txt нормально индексируется, А на свой последний новый сайт добавил роботс такой как в вашей статье описан, только ещё закрыл страницы календаря и страницы тегов. Посмотрим какой результат будет.

Google AdSense - Вопросы Яндекс кобласит 3 месяца Google не
fokin
На сайте с 11.02.2009
Offline
16
fokin
#4

В прошлом году были у меня два сайта, один по фильмам для psp, другой по играм и на обоих не было robots.txt и не было sitemap.xml (я сайты делал для себя и не парился за поисковики, типо хобби такое было) эти оба сайта яша прекрасно индексировал, а если на сайт по фильмам для psp добавлял новый фильм то он быстро влетал в топ по своему запросу (почему не знаю :)) )

Когда же наконец придумают компьютеры, которые по голосовой команде "**ядь!" отменяют все последние действия???)
Яндекс кобласит Яндекс выкосил 99.9% сайтов Фильтр МПК и боты
[Удален]
#5
User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Sitemap: http://my-dle-site.ru/sitemap.xml
User-agent: Yandex
Host: my-dle-site

Попробуем сделать так!

J
На сайте с 13.11.2008
Offline
155
JIucky
#6

ну норм робот, у самого такой стоит, но я еще закрыл от индексации не нужный хлам:

Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
[Удален]
#7

User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts

Sitemap: http://my-dle-site.ru/sitemap.xml
User-agent: Yandex
Host: my-dle-site

Значит супер робот будет такой?)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий