robots.txt

1 234
imho-no
На сайте с 07.04.2008
Offline
186
#21

8e3yn4ik, так я не понял - нафига сайтмап черти где, а не в http://bma.ua/sitemap.xml ?

Я - советский пионер. Надо переводить бабушек через дорогу и Бога - нет. юзаю этот хостинг http://ipipe.ru/?pid=16015 (http://ipipe.ru/?pid=16015). полёт нормальный!
Arsh
На сайте с 21.03.2007
Offline
199
#22
vetlik:
На самом деле поисковик сам прекрасно знает, что на вашем сайте стоит индексировать, а что нет.

Рекомендую быть лаконичным:

О_о Роскошно

imho-no:
так я не понял - нафига сайтмап черти где

Один всего раз с этим сталкивался. Там плагин сайтмепа по дефолту его куда-то в задницу помещает, а разработчикам лень с этим разбираться.

imho-no
На сайте с 07.04.2008
Offline
186
#23

Arsh, ну это я так ненавязчиво показал, где он должен быть.

плагин для сайтмапа - это конечно круто, ч0!))

Dynamics
На сайте с 28.10.2010
Offline
13
#24

Я вообще думаю, не стоит доверять генерацию карты всяким компонентам. Сделать какой-нить нормальной программой и залить на сервер.

Системы вибродиагностики промышленного оборудования (http://www.dynamics.ru)
imho-no
На сайте с 07.04.2008
Offline
186
#25

Dynamics,

Регистрация: 28.10.2010
где ж вы раньше то были?)
Arsh
На сайте с 21.03.2007
Offline
199
#26
imho-no:
плагин для сайтмапа - это конечно круто, ч0!)

Джумла - зло, имхо. Школота насмотрелась видеокурсов и клепает ИМ-ы "занедорого".

Клиенты ощущают себя крутыми бизнесменами, которые не поддались на развод московских веб-студий, а "по-умному" заказали изготовление сайта в Молдавии.

Офигевший оптимизатор потом глядит на говно, которое предлагается в ТОП двигать, говорит - "тут подправить бы надо". Клиент - "вот аська молдаванина - стукни ему сам, я этих слов не понимаю".

А молдаванин про СЕО первый раз слышит...

(Пример реальный 😂 )

Dynamics
На сайте с 28.10.2010
Offline
13
#27
imho-no:
Dynamics, где ж вы раньше то были?)

Просто читала форум иногда :)

А что?

imho-no
На сайте с 07.04.2008
Offline
186
#28

Dynamics, а вы точно девушка?) и у вас правда не было раньше акка на форуме?)

Dynamics
На сайте с 28.10.2010
Offline
13
#29
imho-no:
Dynamics, а вы точно девушка?) и у вас правда не было раньше акка на форуме?)

Ну да. А что тут особенного? :)

BlogoWest
На сайте с 08.10.2010
Offline
52
#30

У меня блог на Wordpress, стоит плагин (J)ExR он сформировал файл robots.txt такого вида:

# start (J)ExR

User-Agent: *
Disallow: //

# end (J)ExR

Я так понимаю это чтобы не индексировались редиректовые ссылки которые создаёт плагин.

Разработчики WordPress советуют правильный по их мнению файл robots.txt содержащий такие правила:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /

# digg mirror
User-agent: duggmirror
Disallow: /

Sitemap: http://kucha-deneg.ru/sitemap.xml

User-agent: Yandex
Crawl-delay: 5

Disallow: /tag

Правильно ли будет если я размещу файл robots.txt такого вида:

# start (J)ExR

User-Agent: *
Disallow: //
# end (J)ExR
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /

# digg mirror
User-agent: duggmirror
Disallow: /

Sitemap: http://kucha-deneg.ru/sitemap.xml

User-agent: Yandex
Crawl-delay: 5

Disallow: /tag
Начал изучение английского для IT сферы https://englex.ru/course/special/it/
1 234

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий