Все вопросы по robots.txt

А что вы этой строчкой предполагаете запретить?

Да, оно. Ошибку как раз выдает по значку $. Уберите его? Непонятно реально, что Вы собираетесь закрыть этим значком? И разделите правила для всех поисковых систем и для Яндекса отдельно. Директиву host различает только Яндекс.

Ну и мне кажется, здесь есть лишние закрытые доступы. Проверьте в вебмастере, как поисковый робот гугла видит сайт, не закрыты ли лишние доступы.

Доллары к оплате, может быть. У нас запрещено доллары принимать. :)

У вас есть доступ к сайту по ftp или через панель хостера,? Вот там и правьте.

Просто удалить строку.

Доступ есть. Просто технически не подкован. Удалить всю строку или только символ $ ?

Что у вас в каталоге home?

Там почти наверняка не строчку удалить, а $. - если с пользой для сайта.

А если о претензиях яндекса - то 100% точка мешается.

Знак доллара оставляет в индексе site.ru/home/ и удаляет все, что site.ru/home/и-что-то-еще..

в том числе вообще-то и site.ru/home/.

Получается одновременно требование оставить урл с точкой и удалить его.

Здравствуйте. Есть книжный сайт, посещаемость 2500-3000 человек в сутки. Сделан на Ucoz, поэтому файл robots.txt совершенно не менял с самого первого дня после создания сайта. Теперь стало интересно: а нормальная ли в нем структура? Может быть, там чего дописать надо?

User-agent: *

Allow: /*?page

Allow: /*?ref=

Allow: /stat/dspixel

Disallow: /*?

Disallow: /stat/

Disallow: /index/1

Disallow: /index/3

Disallow: /register

Disallow: /index/5

Disallow: /index/7

Disallow: /index/8

Disallow: /index/9

Disallow: /index/sub/

Disallow: /panel/

Disallow: /admin/

Disallow: /informer/

Disallow: /secure/

Disallow: /poll/

Disallow: /search/

Disallow: /abnl/

Disallow: /*_escaped_fragment_=

Disallow: /*-*-*-*-987$

Disallow: /shop/order/

Disallow: /shop/printorder/

Disallow: /shop/checkout/

Disallow: /shop/user/

Disallow: /*0-*-0-17$

Disallow: /*-0-0-



Sitemap: http://knigomania.org/sitemap.xml

Sitemap: http://knigomania.org/sitemap-forum.xml

Сайт

Хорошо, что вы ссылку на сайт поставили, а то из robots.txt совершенно непонятно, о каком сайте речь идет.

Ой, какой вы смешной

Уважаемые гуру. Подскажите, правильно ли создан роботс для сайта на вордпресс? Может накосячил где? Всем спасибо за ответы.

Вот сам роботс:

User-agent: *

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /wp-admin/

Disallow: /wp-admin

Disallow: /wp-content/plugins/

Disallow: /*.php$

Disallow: /go/

Disallow: /feed

Disallow: /*?

Disallow: /tag

Disallow: /*wp-json

Host: сайт.ru

User-agent: Yandex

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

Disallow: /*.php$

Disallow: /go/

Disallow: /feed

Disallow: /*?

Disallow: /tag

Disallow: /*wp-json

Sitemap: сайтмап.хмл