- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Запомните, идеальный robots для гугла выглядит таким образом:
User-agent: *
Всё, ничего большего! Об этом не раз говорил Мюллер: не надо закрывать страницы в роботсе, просто делайте их noindex. Робот должен перейти на страницу, чтобы понять что за она и прочитать директивы в ней.
Гугл шарит. А яндекс лезет во все щели как дурной, потом много ошибок 🤣
Нужно ли закрывать от индексации страницы каталога на сайте? То есть страницы вида:
/news/hot/page2
/news/hot/page3
/news/hot/page4
которые содержат списки статей (новостей), разбитых на страницы.
А то Яндекс в Вебмастере недавно начал ругаться, что на таких страницах одинаковый title и description. Вот думаю, закрыть их совсем в robots.txt или добавить к ним добавку вида: "Свежие новости. Страница 1", "Свежие новости. Страница 2"..
Поделитесь опытом, что лучше?
Нормальный вариант: уникализировать title и decsription + (если это по вашей SEO стратегии) закрывать от индексации через <meta name="robots" content="noindex,follow">
Стоит ли закрывать "поиск" на сайте?
User-agent: *
Crawl-delay: 2
Disallow: /editor/
Disallow: /ajax/
Disallow: /basket/
Disallow: /search/ стоит ли его прописывать?
Host: https://medsfera.pro
Sitemap: https://medsfera.pro/?sitemap.xml
Стоит ли закрывать "поиск" на сайте?
Безусловно: мусор в индексе однозначно не нужен. Служебные странички, пользовательский контент, непроработанные страницы тегов - всё это может быть проиндексировано, но будет неизбежно расценено как поисковый мусор. Вам придётся приложить некоторые усилия, чтобы деиндексировать это, и вы в любом случае потеряете часть ресурсов того же гуглобота, который будет тратить их на обход мусорных страниц. А эти ресурсы ограничены - и он может не дойти до важных для вас посадок.
Crawl-delay и Host также стоит удалить, это устаревшие и ненужные директивы.
Сайт резко упал, не знаю почему, ищу причины. Раньше в топ 3 вебмастер было более 30 страниц со списками, теперь 1. Дублей нет в вебмастере. Им писала, говорят нет на сайте фильтров, все хорошо просто позиции поменялись. Но у них всегда ответы не о чем. Так резко?
Подскажите пожалуйста, что не так:
User-Agent: YandexImages
Allow: /wp-content/uploads
User-Agent: Googlebot-Image
Allow: /wp-content/uploads
User-agent: Mediapartners-Google
Allow: /
User-agent: Twitterbot
Allow: /
User-Agent: YandexBot
Disallow: /cgi-bin
Disallow: /xmlrpc.php
Disallow: /author
Disallow: /blog
Disallow: /wp-json
Disallow: /wp-login.php
Disallow: */feed*
Allow: /feed/turbo/
Allow: /wp-content/uploads
Disallow: /category
Disallow: /attachment
Disallow: */page/
Disallow: */amp
Disallow: /korzina/
Disallow: /korzina
Disallow: /comments/
Disallow: /comments
Disallow: */comments
Disallow: /tag/
Disallow: /search/
Disallow: /product
Disallow: /product/
Disallow: /users/
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Allow: *.css?ver=*
Crawl-delay: 20
User-Agent: *
Disallow: /cgi-bin
Disallow: /xmlrpc.php
Disallow: /author
Disallow: *readme.txt
Disallow: /blog
Disallow: /wp-json
Disallow: /wp-login.php
Disallow: */feed*
Allow: /wp-content/uploads
Disallow: /attachment
Disallow: */page/
Disallow: /korzina/
Disallow: /korzina
Disallow: /comments/
Disallow: /comments
Disallow: */comments
Disallow: /tag/
Disallow: /search/
Disallow: /users/
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Allow: *?ver=*
Crawl-delay: 20
Sitemap: https://мой сайт/sitemap.xml