Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Вопрос по robots.txt

123 4
Magnificent-Seo
На сайте с 29.10.2009
Offline
71
Magnificent-Seo
1948

Вечер добрый, у меня такой вопрос: правильно ли на Ваш взгляд составлен robots.txt для сайта (на joomla1.5) домен .рф

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /registration/
Disallow: /export/
Disallow: /download/
Disallow: /price-sheet/
Disallow: /the-contact-information/
Disallow: /index.php?option

Sitemap: http://полимер32.рф/index.php?option=com_xmap&sitemap=1&view=xml
Host: полимер32.рф/

А в site-auditor отображается не корректно из-за кодировки наверное, на сколько это страшно?:smoke:

User-agent: *

Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /registration/
Disallow: /export/
Disallow: /download/
Disallow: /price-sheet/
Disallow: /the-contact-information/
Disallow: /index.php?option

Sitemap: http://�������32.��/index.php?option=com_xmap&sitemap=1&view=xml
Host: �������32.��/

Может пуникодом указать?

И ещё просьба оценить и если возможно указать на недоработки и нюансы. Заранее благодарен!

master_jeday
На сайте с 15.05.2010
Offline
231
master_jeday
#1

Host надо писать после Disallow, потом Sitemap, в общем, как-то так:


User-agent: *
Disallow: /administrator/
[...]
Disallow: /index.php?option

User-agent: Yandex
Disallow: /administrator/
[...]
Disallow: /index.php?option
Host: *зеркало в 16-ричном коде*

Sitemap: http:///*домен в 16-ричном коде*/index.php?option=com_xmap&sitemap=1&view=xml

Вообще, кириллица в роботсе не поддерживается. Попробуйте перекодировать все русские буквы в 16-ричный код и проверьте в панелях гугла и яндекса на валидность.

Дорвеи на заказ с гарантией трафика ( /ru/forum/993918 ) >>> Осторожно, в телеге/скайпе есть клоны! Проверяйте, что общаетесь именно со мной через личку!
Вопрос по Sitemap индексация sitemap gamezgateway.com - проиндексирована всего
VladimirFotul
На сайте с 17.10.2010
Offline
38
VladimirFotul
#2
Magnificent-Seo:
Вечер добрый, у меня такой вопрос: правильно ли на Ваш взгляд составлен robots.txt для сайта (на joomla1.5) домен .рф
Sitemap: 
http://�������32.��/index.php?option=com_xmap&sitemap=1&view=xml
Host: �������32.��/
Может пуникодом указать?

Robots.txt вроде нормально составлен.

Лучше пуникодом поставить, для твоего сайта:

www.xn--32-mlclohlho.xn--p1ai

Какой программой для просмотра картинок (http://niredo.com/foto_see/) вы пользуетесь?
Magnificent-Seo
На сайте с 29.10.2009
Offline
71
Magnificent-Seo
#3

Насчёт порядка расположения сторк понял, поменяю благодарю!

master_jeday:
Вообще, кириллица в роботсе не поддерживается. Попробуйте перекодировать все русские буквы в 16-ричный код и проверьте в панелях гугла и яндекса на валидность.

Ну а почему переходя по прямой ссылке на роботс, отображается нормально! Как быть чему верить :)

Magnificent-Seo добавил 09.02.2011 в 00:26

VladimirFotul:
Robots.txt вроде нормально составлен.
Лучше пуникодом поставить, для твоего сайта:
www.xn--32-mlclohlho.xn--p1ai

Спасибо, да я думал об этом, но хотелось бы узнать поточнее как правильно всё же пуникодом и так называемым UTF-8 (полимер32.рф)

Платон Щукин напоминает о Экспериментальный поиск Google: первые Google о взаимодействии с
master_jeday
На сайте с 15.05.2010
Offline
231
master_jeday
#4
Magnificent-Seo:
Ну а почему переходя по прямой ссылке на роботс, отображается нормально! Как быть чему верить :)

Вы путаете себя с роботом:). Роботс в браузере с любыми кракозябрами отображается нормально, но робот понимает только латиницу.

Magnificent-Seo
На сайте с 29.10.2009
Offline
71
Magnificent-Seo
#5
master_jeday:
Вы путаете себя с роботом:). Роботс в браузере с любыми кракозябрами отображается нормально, но робот понимает только латиницу.

Ясно, значит пуникодом буду писать! А как на внешний вид Вам по юзабилити и поверхностному анализу?:)

master_jeday
На сайте с 15.05.2010
Offline
231
master_jeday
#6
Magnificent-Seo:
А как на внешний вид Вам по юзабилити и поверхностному анализу?:)

У меня кофе закончилось, а гадать на какой-нибудь другой гуще я напрочь отказываюсь🙅.

Magnificent-Seo
На сайте с 29.10.2009
Offline
71
Magnificent-Seo
#7
master_jeday:
У меня кофе закончилось, а гадать на какой-нибудь другой гуще я напрочь отказываюсь🙅.

Не понял что Вы хотите отгадать? Если вы по поводу URL он написан не однократно прочтите внимательней посты.🚬

master_jeday
На сайте с 15.05.2010
Offline
231
master_jeday
#8
Magnificent-Seo:
Не понял что Вы хотите отгадать? Если вы по поводу URL он написан не однократно прочтите внимательней посты.🚬

Тьфу ты. Да уж, бывает, надо спать почаще:D.

Насчет юзабилити, сайт, вроде, несложный, навигация нормальная (только меню лучше сделать все-таки на css). Вполне ничего. Ну, а если хотите услышать мнение специалистов, Вам сюдой;).

Нужен толковый совет! Конкурс для дизайнеров Что есть хорошая база
Magnificent-Seo
На сайте с 29.10.2009
Offline
71
Magnificent-Seo
#9

Кстати вот поменял я в роботс хост зеркало на пуникод, а в вебмастере щас смотрю пишет 

23: Host: http://xn--32-mlclohlho.xn--p1ai/     Некорректное имя главного зеркала сайта

А вот по этой строчке ничего против не пишет :)

Sitemap: http://xn--32-mlclohlho.xn--p1ai//index.php?option=com_xmap&sitemap=1&view=xml

И как же быть сейчас? :)

master_jeday
На сайте с 15.05.2010
Offline
231
master_jeday
#10

Magnificent-Seo, мне кажется, яндекс доменную зону .xn--p1ai не понимает. Я надеюсь, Вы Host без Host: http://xn--32-mlclohlho.xn--p1ai?
" title=" задавали? То есть, так: 

Host: http://xn--32-mlclohlho.xn--p1ai
?
" target="_blank"> задавали? То есть, так: 
Host: http://xn--32-mlclohlho.xn--p1ai
?

123 4

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий