Все вопросы по robots.txt - 2

получается так?

Disallow: /*-kak-prigotovit-*

На конце не надо, там если принудительно не закрывать, то любая строка.

подскажите кто знает, в общем роботс банально прост

User-agent: *

Disallow:

Disallow: /404.html

Sitemap: сайт/sitemap.xml

Host: сайт.com

и страницы индексировались и продвигались в таком виде,

http://сайт.com/page1.html

http://сайт.com/page2.html и т.д

с недавнего времени сайт стал показываться в индексе в таком формате (всем бэкам конец естественно).

http://сайт.com/papka/page1

http://сайт.com/papka/page2 и т.д

добавил в роботс директиву Disallow: /papka/

пока чёто толку нету, на переобход в консоли отрпавлял несколько страниц пару недель назад.

как правильней бы явно -расписать роботс -чтобы всё индексировалось в первоначальном виде с .html в конце страницы?

сейчас сделал так-

User-agent: *

Disallow:

Disallow: /papka/

Disallow: /404.html

Sitemap: сайт/sitemap.xml

Host: сайт.com

Здравствуйте, уважаемые форумчане!

Подскажите, пожалуйста, какой ответ сервера должен быть у файла robots.txt? 200 OK - это нормально?

Пришёл сегодня отчёт от Яндекс Вебмастера, а там такая ерунда (в списке "Исключённых страниц"): - /robots.txt Статус неизвестен...(раскрываю текст) -> Страница известна роботу, но не участвует в поиске. Проверьте ответ сервера и отсутствие запрещающих HTML-тегов. Если проблема актуальна, обратитесь к администратору своего сайта или сервера. Если страница уже доступна, отправьте её на переобход.

Проверить ответ сервера

Перейти в раздел «Переобход страниц»

Проверила, ответ сервера - 200 OK. Вообще ничего не меняла в роботсе за последнее время. С какого перепуга вообще пришло такое сообщение? Поднапрягло. В чём-то ошибка есть?

Спасибо заранее всем откликнувшимся!

Слушайте, чувствую себя идиотом, можете плеваться:((

Мне всего-то надо было переразместить роботс. Попросил FTP, зашел, перезалил.

Открываю сайт проверить, а он требует от меня логин-пароль, чтобы показать саму страницу сайта. Понятно, такого ввести не могу - ну наугад ввел те же данные, что в фтп - соответственно 500 ошибка.

О, я вернул им прежний роботс сразу, конечно. Только проблема же не в нем, так что 500-ая теперь вместо сайта висит.

И владелец, понятно, говорит, что виноват я - дали мне доступ, я сайт и убил.

Роботсом???

Куда копать, мозгов не хватает:( Не подскажет кто?

думаю что ктото изменил права на раздел, либо с умным лицом понастраивал .htaccess (например хозяин сайта), а вообще 500 ошибку чаще всего видел из-за NS (по разным причинам). Я бы NS проверил для начала работет или нет.

---------- Добавлено 18.02.2020 в 12:29 ----------

200 OK - это лучший ответ сервера, лучшее что можно сделать это - (страница уже доступна, отправьте её на переобход.) Если страницу в яндексе исключают то , кидаешь ее в переобход и через неделю она на месте опять, постоянно так делаю. Ничего страшного. ЯВМ это тупейшее создание.

SuvR9, большое спасибо!

А это вообще в принципе нормально, что эта страница мойсайт/robots.txt - в списке "Исключённых страниц"?

И что "Статус неизвестен"?

Заранее прошу прощения, если вопросы глупые.

вобще думаю что неормально, но тут как говориться что имеем то имеем. Удивляться не стоит, у меня карты сайты выкидывает переодически, политику конфиденциальности стабильно в переобход кидаю для прикола, но выкидывает почемуто, а на других сайтах эту же политику идентичную нет. Там кнопка есть - проверить robots.txt, на нее жмяк и можно забыть, можно в переобход кинуть для верности.

Нет, не нормально. Но в чем причина - удаленно не догадаться.

Кроме банального - "пишите в техподдержку", даже и посоветовать-то нечего :-(

На сайте есть страницы с датами в URL — сайт.ру/?date=2020-03-18

Проблема в том, что робот постоянно ходит по подобным страницам и сильно в прошлое, и сильно в будущее. В вебмастере каждый день я вижу несколько записей о том, что страница например /?date=1835-03-18 признана дублем страницы /?date=1932-03-18 и удалена. А /?date=2048-03-18 недостаточно качественная.

Подскажите, как задать интервал для индексации, чтобы робот сосредоточился на нужных датах и не отвлекался на остальные.