robot.txt

1 23
Алексей Барыкин
На сайте с 04.02.2008
Offline
272
#21
liliaest:
Пробелы убрала. Заменила также
Host: www.mali-business.ru
на
Host: http.mali-business.ru
Как рекомендовалось в аудите

Какой дурак это рекомендовал?

S1
На сайте с 08.05.2013
Offline
27
#22
Алексей Барыкин:
Какой дурак это рекомендовал?

Это или ошибка ТС при написании, либо оно самое)

L
На сайте с 10.05.2013
Offline
0
#23
skill1900:
Это или ошибка ТС при написании, либо оно самое)

Возможно что-то не поняла. Вот цитата из аудита:

1. Основной хост сайта для продвижения

Без WWW, т.е. http://mali-business.ru его же следует брать для продвижения внешними ссылками, при их простановке или закупке. Поисковик по разному учитывает ссылки с доноров при наличии или отсутствии www в URL сайта.

в файле Host прописать основное зеркало

---------- Добавлено 14.05.2013 в 22:52 ----------

skill1900:
Хорошая программка для составления файла sitemap - SiteMap Generator.
Выходной файл кидаете в корень на хостинге и прописываете к нему путь в роботс.
Получится примерно так: Sitemap: www.mali-business.ru/Sitemap.xml

Скачала SiteMap Generator. Это exe файл. Не пойму - как его в корень сайта закинуть, если обычно все плагины в соответствующую папку plugins и закидываются...

S1
На сайте с 08.05.2013
Offline
27
#24
liliaest:
Возможно что-то не поняла. Вот цитата из аудита:
1. Основной хост сайта для продвижения

Без WWW, т.е. http://mali-business.ru его же следует брать для продвижения внешними ссылками, при их простановке или закупке. Поисковик по разному учитывает ссылки с доноров при наличии или отсутствии www в URL сайта.

Просто укажите в роботс домен без WWW. Вот так - Host: mali-business.ru

Редирект у вас уже сделан.

liliaest:
Скачала SiteMap Generator. Это exe файл. Не пойму - как его в корень сайта закинуть, если обычно все плагины в соответствующую папку plugins и закидываются...

Это программа, её нужно установить сначала на компьютер.

L
На сайте с 10.05.2013
Offline
0
#25
skill1900:
Просто укажите в роботс домен без WWW. Вот так - Host: mali-business.ru
Редирект у вас уже сделан.

Сделала. Теперь так:

User-agent: Yandex

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-trackback

Disallow: /wp-feed

Disallow: /wp-comments

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Host: mali-business.ru

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-trackback

Disallow: /wp-feed

Disallow: /wp-comments

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Sitemap: http://mali-business.ru/karta-sajta

Разбираюсь с картой...

siv1987
На сайте с 02.04.2009
Offline
427
#26
liliaest:
Как рекомендовалось в аудите

facepalm. Какой там http?

skill1900:
Это программа, её нужно установить сначала на компьютер.

Нахрен программа, если для ВП туча плагинов, которые сами автоматически генерируют карту, при этом правильно учитывая структуру, без всякого мусора, и без сканирования сайта?

liliaest:
Dagon Design Sitemap Generator v3.17

Этот плагин вроде для html карты, а для роботса нужна xml карта.

liliaest, https://www.google.ru/search?client=opera&rls=ru&q=xml+sitemap+generator+wordpress&sourceid=opera&ie=utf-8&oe=utf-8&channel=suggest

L
На сайте с 10.05.2013
Offline
0
#27

Да, с программой -фигня. Сейчас установлю лучше Google XML Sitemaps

---------- Добавлено 14.05.2013 в 23:36 ----------

Теперь в роботсе прописано:

Sitemap: http://mali-business.ru/sitemap.xml

Теперь хорошо?

L
На сайте с 10.05.2013
Offline
0
#28

Не дают покоя замечания по аудиту. Если вместо предыдущего роботса закинуть такой роботс, то это будет лучше?

User-agent: *

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /webstat/

Disallow: /feed/

Disallow: /trackback

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /*?*

Disallow: /*?

Disallow: /category/*/*

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /comments

Disallow: /search.php

User-agent: Yandex

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /webstat/

Disallow: /feed/

Disallow: /trackback

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /*?*

Disallow: /*?

Disallow: /category/*/*

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /comments

Disallow: /search.php

Sitemap: http://mali-business.ru/sitemap.xml

Host: mali-business.ru

kimberlit
На сайте с 13.03.2007
Offline
370
#29
liliaest:
Disallow: /*?*
Disallow: /*?

Когда уже вымрет этот кусок идиотизма? Кто придумал его?

L
На сайте с 10.05.2013
Offline
0
#30
kimberlit:
Когда уже вымрет этот кусок идиотизма? Кто придумал его?

Наверно из благих побуждений...

Я так поняла, что лучше убрать?..

1 23

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий