- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
TatianaBO, Гугл рекомендует не закрывать, чтобы он мог правильно отрисовать страницу, например, чтобы корректно пройти тот же mobile friendly тест
Есть две версии сайта:
site.ru
m.site.ru
В m.site.ru/robots.txt стоит Host: http://site.ru
Наткнулся на информацию, что нужно ставить Host: http://m.site.ru
Так как всё-таки правильно?
Так как всё-таки правильно?
никак)
https://webmaster.yandex.ru/blog/301-y-redirekt-polnostyu-zamenil-direktivu-host
Здравствуйте у меня в индексе куча страниц а по факту в три раза меньше из -за рубрик и их архивов. Подскажите пожалуйста какое действие нужно прописать в robots.txt на примере этой страницы https://vashigrezi.ru/category/uxod-za-kozshei/page/19/
Можно вообще всю пагинацию запретить:
User-agent: *
Disallow: /category/*/page/
Но вообще, надо сделать так, чтобы таких пустых страниц не возникало.
Можно вообще всю пагинацию запретить:
User-agent: *
Disallow: /category/*/page/
Но вообще, надо сделать так, чтобы таких пустых страниц не возникало.
Эта страница пагинации с утра была еще. Я просто не знал как сделать чтобы в рубрике выводились сразу все страницы а не одна как было
Админ пожалуйста удалите это сообщение с темой ошибся .
Для России и стран СНГ, где доля Яндекса ощутима, следует прописывать директивы для всех роботов и отдельно для Яндекса и Google.
Чтобы правильно настроить robots.txt воспользуйтесь следующим алгоритмом:
Закройте от индексирования админку сайта
Закройте от индексирования личный кабинет, авторизацию, регистрацию
Закройте от индексирования корзину, формы заказа, данные по доставке и заказам
Закройте от индексирования ajax, json-скрипты
Закройте от индексирования папку cgi
Закройте от индексирования плагины, темы оформления, js, css для всех роботов, кроме Яндекса и Google
Закройте от индексирования функционал поиска
Закройте от индексирования служебные разделы, которые не несут никакой ценности для сайта в поиске (ошибка 404, список авторов)
Закройте от индексирования технические дубли страниц, а также страницы, на которых весь контент в том или ином виде продублирован с других страниц (календари, архивы, RSS)
Закройте от индексирования страницы с параметрами фильтров, сортировки, сравнения
Закройте от индексирования страницы с параметрами UTM-меток и сессий
Проверьте, что проиндексировано Яндексом и Google с помощью параметра «site:» (в поисковой строке наберите «site:site.ru»). Если в поиске присутствуют страницы, которые также нужно закрыть от индексации, добавьте их в robots.txt
Укажите Sitemap и Host
По необходимости пропишите Crawl-Delay и Clean-Param
Проверьте корректность robots.txt через инструменты Google и Яндекса (описано ниже)
Через 2 недели перепроверьте, появились ли в поисковой выдаче новые страницы, которые не должны индексироваться. В случае необходимости повторить выше перечисленные шаги.
Закройте от индексирования служебные разделы, которые не несут никакой ценности для сайта в поиске (ошибка 404, список авторов)
Закройте от индексирования технические дубли страниц, а также страницы, на которых весь контент в том или ином виде продублирован с других страниц (календари, архивы, RSS)
Закройте от индексирования этот бред.
Подскажите, html версию карты сайта надо закрывать от индексации? Вот гугл плагин xml sitemap считает что да, надо закрывать. А вот консоль гугла считает что это ошибка)
С xml версией все ок, вопросов нет по ней.