- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Запомните, идеальный robots для гугла выглядит таким образом:
User-agent: *
Всё, ничего большего! Об этом не раз говорил Мюллер: не надо закрывать страницы в роботсе, просто делайте их noindex. Робот должен перейти на страницу, чтобы понять что за она и прочитать директивы в ней.
Гугл шарит. А яндекс лезет во все щели как дурной, потом много ошибок 🤣
Нужно ли закрывать от индексации страницы каталога на сайте? То есть страницы вида:
/news/hot/page2
/news/hot/page3
/news/hot/page4
которые содержат списки статей (новостей), разбитых на страницы.
А то Яндекс в Вебмастере недавно начал ругаться, что на таких страницах одинаковый title и description. Вот думаю, закрыть их совсем в robots.txt или добавить к ним добавку вида: "Свежие новости. Страница 1", "Свежие новости. Страница 2"..
Поделитесь опытом, что лучше?
Нормальный вариант: уникализировать title и decsription + (если это по вашей SEO стратегии) закрывать от индексации через <meta name="robots" content="noindex,follow">
Стоит ли закрывать "поиск" на сайте?
User-agent: *
Crawl-delay: 2
Disallow: /editor/
Disallow: /ajax/
Disallow: /basket/
Disallow: /search/ стоит ли его прописывать?
Host: https://medsfera.pro
Sitemap: https://medsfera.pro/?sitemap.xml
Стоит ли закрывать "поиск" на сайте?
Безусловно: мусор в индексе однозначно не нужен. Служебные странички, пользовательский контент, непроработанные страницы тегов - всё это может быть проиндексировано, но будет неизбежно расценено как поисковый мусор. Вам придётся приложить некоторые усилия, чтобы деиндексировать это, и вы в любом случае потеряете часть ресурсов того же гуглобота, который будет тратить их на обход мусорных страниц. А эти ресурсы ограничены - и он может не дойти до важных для вас посадок.
Crawl-delay и Host также стоит удалить, это устаревшие и ненужные директивы.