Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 31.12.2019, 12:25   #341
Miha Kuzmin (KMY)
Просто лучший
 
Аватар для Miha Kuzmin (KMY)
 
Регистрация: 05.05.2003
Адрес: Чехов
Сообщений: 31,904
Репутация: 2119805

По умолчанию Re: Все вопросы по robots.txt - 2

Значок *
Miha Kuzmin (KMY) вне форума   Ответить с цитированием
Сказали спасибо:

Реклама
Старый 31.12.2019, 17:13   #342
goldyd
Студент
 
Регистрация: 21.10.2015
Сообщений: 22
Репутация: 161

По умолчанию Re: Все вопросы по robots.txt - 2

Цитата:
Сообщение от Miha Kuzmin (KMY) Посмотреть сообщение
Значок *
получается так?

Disallow: /*-kak-prigotovit-*
goldyd вне форума   Ответить с цитированием
Старый 31.12.2019, 17:55   #343
Miha Kuzmin (KMY)
Просто лучший
 
Аватар для Miha Kuzmin (KMY)
 
Регистрация: 05.05.2003
Адрес: Чехов
Сообщений: 31,904
Репутация: 2119805

По умолчанию Re: Все вопросы по robots.txt - 2

На конце не надо, там если принудительно не закрывать, то любая строка.
Miha Kuzmin (KMY) вне форума   Ответить с цитированием
Сказали спасибо:
Старый 17.02.2020, 15:09   #344
SuvR9
Студент
 
Аватар для SuvR9
 
Регистрация: 25.02.2018
Сообщений: 18
Репутация: -5791

По умолчанию Re: Все вопросы по robots.txt - 2

подскажите кто знает, в общем роботс банально прост

User-agent: *
Disallow:
Disallow: /404.html
Sitemap: сайт/sitemap.xml
Host: сайт.com

и страницы индексировались и продвигались в таком виде,
http://сайт.com/page1.html
http://сайт.com/page2.html и т.д

с недавнего времени сайт стал показываться в индексе в таком формате (всем бэкам конец естественно).

http://сайт.com/papka/page1
http://сайт.com/papka/page2 и т.д

добавил в роботс директиву Disallow: /papka/
пока чёто толку нету, на переобход в консоли отрпавлял несколько страниц пару недель назад.

как правильней бы явно -расписать роботс -чтобы всё индексировалось в первоначальном виде с .html в конце страницы?
сейчас сделал так-

User-agent: *
Disallow:
Disallow: /papka/
Disallow: /404.html
Sitemap: сайт/sitemap.xml
Host: сайт.com
SuvR9 вне форума   Ответить с цитированием
Старый 17.02.2020, 20:58   #345
Olga-Jkmuf
Абитуриент
 
Регистрация: 17.02.2020
Сообщений: 2
Репутация: 10

По умолчанию Re: Все вопросы по robots.txt - 2

Здравствуйте, уважаемые форумчане!
Подскажите, пожалуйста, какой ответ сервера должен быть у файла robots.txt? 200 OK - это нормально?
Пришёл сегодня отчёт от Яндекс Вебмастера, а там такая ерунда (в списке "Исключённых страниц"): - /robots.txt Статус неизвестен...(раскрываю текст) -> Страница известна роботу, но не участвует в поиске. Проверьте ответ сервера и отсутствие запрещающих HTML-тегов. Если проблема актуальна, обратитесь к администратору своего сайта или сервера. Если страница уже доступна, отправьте её на переобход.
Проверить ответ сервера
Перейти в раздел «Переобход страниц»

Проверила, ответ сервера - 200 OK. Вообще ничего не меняла в роботсе за последнее время. С какого перепуга вообще пришло такое сообщение? Поднапрягло. В чём-то ошибка есть?
Спасибо заранее всем откликнувшимся!
Olga-Jkmuf вне форума   Ответить с цитированием
Старый 17.02.2020, 21:14   #346
kirf
Профессор
 
Регистрация: 30.07.2008
Сообщений: 567
Репутация: 70045

По умолчанию Re: Все вопросы по robots.txt - 2

Слушайте, чувствую себя идиотом, можете плеваться(

Мне всего-то надо было переразместить роботс. Попросил FTP, зашел, перезалил.

Открываю сайт проверить, а он требует от меня логин-пароль, чтобы показать саму страницу сайта. Понятно, такого ввести не могу - ну наугад ввел те же данные, что в фтп - соответственно 500 ошибка.

О, я вернул им прежний роботс сразу, конечно. Только проблема же не в нем, так что 500-ая теперь вместо сайта висит.

И владелец, понятно, говорит, что виноват я - дали мне доступ, я сайт и убил.

Роботсом???

Куда копать, мозгов не хватает Не подскажет кто?
kirf вне форума   Ответить с цитированием
Старый 18.02.2020, 12:25   #347
SuvR9
Студент
 
Аватар для SuvR9
 
Регистрация: 25.02.2018
Сообщений: 18
Репутация: -5791

По умолчанию Re: Все вопросы по robots.txt - 2

Цитата:
Сообщение от kirf Посмотреть сообщение
Слушайте, чувствую себя идиотом, можете плеваться(

Мне всего-то надо было переразместить роботс. Попросил FTP, зашел, перезалил.

Открываю сайт проверить, а он требует от меня логин-пароль, чтобы показать саму страницу сайта. Понятно, такого ввести не могу - ну наугад ввел те же данные, что в фтп - соответственно 500 ошибка.

О, я вернул им прежний роботс сразу, конечно. Только проблема же не в нем, так что 500-ая теперь вместо сайта висит.

И владелец, понятно, говорит, что виноват я - дали мне доступ, я сайт и убил.

Роботсом???

Куда копать, мозгов не хватает Не подскажет кто?
думаю что ктото изменил права на раздел, либо с умным лицом понастраивал .htaccess (например хозяин сайта), а вообще 500 ошибку чаще всего видел из-за NS (по разным причинам). Я бы NS проверил для начала работет или нет.

---------- Добавлено 18.02.2020 в 12:29 ----------

Цитата:
Сообщение от Olga-Jkmuf Посмотреть сообщение
Здравствуйте, уважаемые форумчане!
Подскажите, пожалуйста, какой ответ сервера должен быть у файла robots.txt? 200 OK - это нормально?
Пришёл сегодня отчёт от Яндекс Вебмастера, а там такая ерунда (в списке "Исключённых страниц"): - /robots.txt Статус неизвестен...(раскрываю текст) -> Страница известна роботу, но не участвует в поиске. Проверьте ответ сервера и отсутствие запрещающих HTML-тегов. Если проблема актуальна, обратитесь к администратору своего сайта или сервера. Если страница уже доступна, отправьте её на переобход.
Проверить ответ сервера
Перейти в раздел «Переобход страниц»

Проверила, ответ сервера - 200 OK. Вообще ничего не меняла в роботсе за последнее время. С какого перепуга вообще пришло такое сообщение? Поднапрягло. В чём-то ошибка есть?
Спасибо заранее всем откликнувшимся!
200 OK - это лучший ответ сервера, лучшее что можно сделать это - (страница уже доступна, отправьте её на переобход.) Если страницу в яндексе исключают то , кидаешь ее в переобход и через неделю она на месте опять, постоянно так делаю. Ничего страшного. ЯВМ это тупейшее создание.
SuvR9 вне форума   Ответить с цитированием
Старый 18.02.2020, 22:24   #348
Olga-Jkmuf
Абитуриент
 
Регистрация: 17.02.2020
Сообщений: 2
Репутация: 10

По умолчанию Re: Все вопросы по robots.txt - 2

SuvR9, большое спасибо!

А это вообще в принципе нормально, что эта страница мойсайт/robots.txt - в списке "Исключённых страниц"?
И что "Статус неизвестен"?

Заранее прошу прощения, если вопросы глупые.
Olga-Jkmuf вне форума   Ответить с цитированием
Старый 19.02.2020, 15:38   #349
SuvR9
Студент
 
Аватар для SuvR9
 
Регистрация: 25.02.2018
Сообщений: 18
Репутация: -5791

По умолчанию Re: Все вопросы по robots.txt - 2

Цитата:
Сообщение от Olga-Jkmuf Посмотреть сообщение
SuvR9, большое спасибо!

А это вообще в принципе нормально, что эта страница мойсайт/robots.txt - в списке "Исключённых страниц"?
И что "Статус неизвестен"?

Заранее прошу прощения, если вопросы глупые.
вобще думаю что неормально, но тут как говориться что имеем то имеем. Удивляться не стоит, у меня карты сайты выкидывает переодически, политику конфиденциальности стабильно в переобход кидаю для прикола, но выкидывает почемуто, а на других сайтах эту же политику идентичную нет. Там кнопка есть - проверить robots.txt, на нее жмяк и можно забыть, можно в переобход кинуть для верности.
SuvR9 вне форума   Ответить с цитированием
Ответ

Метки
clean , param , robots , robots.txt , seo



Опции темы

Быстрый переход


Регистрация Справка Календарь Поддержка Все разделы прочитаны