Форум Сайтостроение Веб-строительство

Сайт закрыт от индексации или открыт

zonar
На сайте с 24.05.2009
Offline
165
zonar
2519

В яндекс вебмастере указана фатальная ошибка 

Фатальные

Сайт закрыт к индексации в файле robots.txt	

При последнем обращении к файлу robots.txt было обнаружено, что сайт закрыт для индексации. Убедитесь в корректности файла robots.txt, иначе сайт может полностью пропасть из поиска.

Проверьте robots.txt и снимите установленный запрет.

Проверить

Проверка началась 2 марта, она может занять до 14 дней

Проблема известна с 24.02.2017

А мой робот 

Sitemap: http://урл.ru/sitemap.xml 



# global

User-agent: *

Disallow: /xmlrpc.php

Disallow: *.jpg

Disallow: *.gif 

Disallow: *.png

Disallow: /attachment/

Вроде открыт правильно?

Вот еще указали ошибку 

Возможные проблемы

В файле robots.txt не задана директива Host	

Для корректного определения главного зеркала сайта рекомендуется задать соответствующую директиву Host в файлах robots.txt всех зеркал сайта. В случае ее отсутствия главное зеркало может быть выбрано автоматически.

Добавьте директиву Host в файл robots.txt.

Как указать директиву Host

Городской дневник ( https://youtu.be/k2qZdPXHoYY )
adel92
На сайте с 04.01.2012
Offline
334
adel92
#1

Необходимо в конец сайта дописать 

Host: site.ru
NVMe VDS (https://well-web.net/nvme-vps) с поддержкой 24/7 - от 545 руб.! Безлимитный хостинг (https://well-web.net/ssd-hosting) - от 129 руб.! Домен в подарок! Перенос бесплатно! Заказывайте сейчас, и получите скидку 50%! Заходи! (https://well-web.net/limited-offers)
zonar
На сайте с 24.05.2009
Offline
165
zonar
#2
adel92:
Необходимо в конец сайта дописать 

Host: site.ru

Так прfвильно? 

Sitemap: http://мой урл.ru/sitemap.xml  



# global 

User-agent: * 

Disallow: /xmlrpc.php 

Disallow: *.jpg 

Disallow: *.gif  

Disallow: *.png 

Disallow: /attachment/  



Host: мой урл.ru

а по индексации что?

закрыт от индексации или нет?

adel92
На сайте с 04.01.2012
Offline
334
adel92
#3

Да все правильно.

Вы добавьте директиву и посмотрите. Я проблем не вижу.

SocFishing
На сайте с 26.09.2013
Offline
118
SocFishing
#4

А зачем вы все это закрыли? по мне дак не парьтесь:

Sitemap: http://урл.ru/sitemap.xml
User-agent: *
★Сервис идентифицирует (https://socfishing.com/?utm_source=searchengines) посетителей вашего сайта и предоставляет их профили ВКонтакте, Телефон, Почта! Цены копеечные, работаем 8 лет.
zonar
На сайте с 24.05.2009
Offline
165
zonar
#5
SocFishing:
А зачем вы все это закрыли? по мне дак не парьтесь:

Если вы про это 

Disallow: /xmlrpc.php  

Disallow: *.jpg  

Disallow: *.gif   

Disallow: *.png  

Disallow: /attachment/

Терпеть не могу трафика с картинок

Не знаю почему просто видать психологическая мания это

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий