Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Проблема с robots.txt при индексации

beat0killa
На сайте с 09.01.2011
Offline
2
beat0killa
1482

Добрый день уважаемые форумчане!

Хотел проиндексировать сайт, и почему то во время проверки robots.txt пишутся 2 ошибки:

1: О╩© User-agent: Yandex

Обнаружена неизвестная директива

2: Disallow: /cgi-bin

Перед правилом нет директивы User-agent

Движок сайта:WordPress...

Помогите пожалуйста решить проблему, буду благодарен.

С уважением, beat0killa

Качественный копирайт/рерайт дешево, качественно, уникально! Создаю визитные карты для компаний, макеты сайтов, оформления групп В Контакте. По всем вопросам на email- himfan@bk.ru
master_jeday
На сайте с 15.05.2010
Offline
231
master_jeday
#1

Телепаты - в бессрочном отпуске. Скопируйте сюда текст роботс или дайте ссылку, если хотите, чтоб помогли.

Дорвеи на заказ с гарантией трафика ( /ru/forum/993918 ) >>> Осторожно, в телеге/скайпе есть клоны! Проверяйте, что общаетесь именно со мной через личку!
beat0killa
На сайте с 09.01.2011
Offline
2
beat0killa
#2

Прошу прошения...

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /feed
Disallow: */feed
Disallow: /*?*
Disallow: /*?
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /search/*/feed
Disallow: /search/*/*
Disallow: /tag/
Allow: /wp-content/uploads/
Host: beat0killa-prod.ru
Sitemap: http://beat0killa-prod.ru/sitemap.xml

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: beat0killa-prod.ru

Sitemap: http://beat0killa-prod.ru/sitemap.xml
master_jeday
На сайте с 15.05.2010
Offline
231
master_jeday
#3 

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /feed
Disallow: */feed
Disallow: /*?*
Disallow: /*?
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /search/*/feed
Disallow: /search/*/*
Disallow: /tag/
Host: beat0killa-prod.ru

Sitemap: http://beat0killa-prod.ru/sitemap.xml

Структура такая. Правильно ли запрещены папки в Disallow - не знаю.

Евгений
На сайте с 11.07.2009
Offline
100
Евгений
#4

Вероятно создали файлик в вордовском блокноте, в итоге вылезло вот это: О╩©

Скачайте notepad++, скопируйте в новый файл Ваш роботс и сохраните.

Агентство для соискателей ИМ Консалтинг. Работаем с 2013 года. Более 4500 клиентов. 149 отзывов. Услуги: Составление профессиональное резюме ( https://www.im-konsalting.ru/sostavlenie-rezyume/ ); Карьерное консультирование (https://www.im-konsalting.ru/konsalting/); Сопровождение поиска работы на всех этапах (https://www.im-konsalting.ru/pomoshh-v-poiske-raboty/)
beat0killa
На сайте с 09.01.2011
Offline
2
beat0killa
#5

Изменил, теперь пишет :

1: О╩©User-agent: *

Обнаружена неизвестная директива

beat0killa добавил 07.02.2011 в 19:38

edgrak, окей, сейчас попробую.

beat0killa добавил 07.02.2011 в 19:45

Всем спасибо, все пошло успешно! :)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий