- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Значок *
получается так?
Disallow: /*-kak-prigotovit-*
На конце не надо, там если принудительно не закрывать, то любая строка.
подскажите кто знает, в общем роботс банально прост
User-agent: *
Disallow:
Disallow: /404.html
Sitemap: сайт/sitemap.xml
Host: сайт.com
и страницы индексировались и продвигались в таком виде,
http://сайт.com/page1.html
http://сайт.com/page2.html и т.д
с недавнего времени сайт стал показываться в индексе в таком формате (всем бэкам конец естественно).
http://сайт.com/papka/page1
http://сайт.com/papka/page2 и т.д
добавил в роботс директиву Disallow: /papka/
пока чёто толку нету, на переобход в консоли отрпавлял несколько страниц пару недель назад.
как правильней бы явно -расписать роботс -чтобы всё индексировалось в первоначальном виде с .html в конце страницы?
сейчас сделал так-
User-agent: *
Disallow:
Disallow: /papka/
Disallow: /404.html
Sitemap: сайт/sitemap.xml
Host: сайт.com
Здравствуйте, уважаемые форумчане!
Подскажите, пожалуйста, какой ответ сервера должен быть у файла robots.txt? 200 OK - это нормально?
Пришёл сегодня отчёт от Яндекс Вебмастера, а там такая ерунда (в списке "Исключённых страниц"): - /robots.txt Статус неизвестен...(раскрываю текст) -> Страница известна роботу, но не участвует в поиске. Проверьте ответ сервера и отсутствие запрещающих HTML-тегов. Если проблема актуальна, обратитесь к администратору своего сайта или сервера. Если страница уже доступна, отправьте её на переобход.
Проверить ответ сервера
Перейти в раздел «Переобход страниц»
Проверила, ответ сервера - 200 OK. Вообще ничего не меняла в роботсе за последнее время. С какого перепуга вообще пришло такое сообщение? Поднапрягло. В чём-то ошибка есть?
Спасибо заранее всем откликнувшимся!
Слушайте, чувствую себя идиотом, можете плеваться:((
Мне всего-то надо было переразместить роботс. Попросил FTP, зашел, перезалил.
Открываю сайт проверить, а он требует от меня логин-пароль, чтобы показать саму страницу сайта. Понятно, такого ввести не могу - ну наугад ввел те же данные, что в фтп - соответственно 500 ошибка.
О, я вернул им прежний роботс сразу, конечно. Только проблема же не в нем, так что 500-ая теперь вместо сайта висит.
И владелец, понятно, говорит, что виноват я - дали мне доступ, я сайт и убил.
Роботсом???
Куда копать, мозгов не хватает:( Не подскажет кто?
Слушайте, чувствую себя идиотом, можете плеваться:((
Мне всего-то надо было переразместить роботс. Попросил FTP, зашел, перезалил.
Открываю сайт проверить, а он требует от меня логин-пароль, чтобы показать саму страницу сайта. Понятно, такого ввести не могу - ну наугад ввел те же данные, что в фтп - соответственно 500 ошибка.
О, я вернул им прежний роботс сразу, конечно. Только проблема же не в нем, так что 500-ая теперь вместо сайта висит.
И владелец, понятно, говорит, что виноват я - дали мне доступ, я сайт и убил.
Роботсом???
Куда копать, мозгов не хватает:( Не подскажет кто?
думаю что ктото изменил права на раздел, либо с умным лицом понастраивал .htaccess (например хозяин сайта), а вообще 500 ошибку чаще всего видел из-за NS (по разным причинам). Я бы NS проверил для начала работет или нет.
---------- Добавлено 18.02.2020 в 12:29 ----------
Здравствуйте, уважаемые форумчане!
Подскажите, пожалуйста, какой ответ сервера должен быть у файла robots.txt? 200 OK - это нормально?
Пришёл сегодня отчёт от Яндекс Вебмастера, а там такая ерунда (в списке "Исключённых страниц"): - /robots.txt Статус неизвестен...(раскрываю текст) -> Страница известна роботу, но не участвует в поиске. Проверьте ответ сервера и отсутствие запрещающих HTML-тегов. Если проблема актуальна, обратитесь к администратору своего сайта или сервера. Если страница уже доступна, отправьте её на переобход.
Проверить ответ сервера
Перейти в раздел «Переобход страниц»
Проверила, ответ сервера - 200 OK. Вообще ничего не меняла в роботсе за последнее время. С какого перепуга вообще пришло такое сообщение? Поднапрягло. В чём-то ошибка есть?
Спасибо заранее всем откликнувшимся!
200 OK - это лучший ответ сервера, лучшее что можно сделать это - (страница уже доступна, отправьте её на переобход.) Если страницу в яндексе исключают то , кидаешь ее в переобход и через неделю она на месте опять, постоянно так делаю. Ничего страшного. ЯВМ это тупейшее создание.
SuvR9, большое спасибо!
А это вообще в принципе нормально, что эта страница мойсайт/robots.txt - в списке "Исключённых страниц"?
И что "Статус неизвестен"?
Заранее прошу прощения, если вопросы глупые.
SuvR9, большое спасибо!
А это вообще в принципе нормально, что эта страница мойсайт/robots.txt - в списке "Исключённых страниц"?
И что "Статус неизвестен"?
Заранее прошу прощения, если вопросы глупые.
вобще думаю что неормально, но тут как говориться что имеем то имеем. Удивляться не стоит, у меня карты сайты выкидывает переодически, политику конфиденциальности стабильно в переобход кидаю для прикола, но выкидывает почемуто, а на других сайтах эту же политику идентичную нет. Там кнопка есть - проверить robots.txt, на нее жмяк и можно забыть, можно в переобход кинуть для верности.
А это вообще в принципе нормально, что эта страница мойсайт/robots.txt - в списке "Исключённых страниц"?
И что "Статус неизвестен"?
Нет, не нормально. Но в чем причина - удаленно не догадаться.
Кроме банального - "пишите в техподдержку", даже и посоветовать-то нечего :-(
На сайте есть страницы с датами в URL — сайт.ру/?date=2020-03-18
Проблема в том, что робот постоянно ходит по подобным страницам и сильно в прошлое, и сильно в будущее. В вебмастере каждый день я вижу несколько записей о том, что страница например /?date=1835-03-18 признана дублем страницы /?date=1932-03-18 и удалена. А /?date=2048-03-18 недостаточно качественная.
Подскажите, как задать интервал для индексации, чтобы робот сосредоточился на нужных датах и не отвлекался на остальные.