- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Одноклассники пресекли более 9 млн подозрительных входов в учетные записи
И выявили более 7 млн подозрительных пользователей
Оксана Мамчуева
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
а как настроить, чтобы страницы site.ru/page/2 не трогал а site.ru/cat_1_name/page/2
site.ru/cat_2_name/page/4
хавал
и насколько правильно будет сделать такой роботс
User-agent: *
Allow: /
Disallow: /$
Disallow: /category/cat1$
Disallow: /category/cat2$
Disallow: /category/cat3$
Disallow: /category/cat4$
Disallow: /category/cat5$
Disallow: /cat1/*.html$
Disallow: /cat2/*.html$
Disallow: /cat3/*.html$
Disallow: /cat4/*.html$
Disallow: /cat5/*.html$
Disallow: /wp-content/upload/
Если надо индексировать только главную, первые страницы категорий, html страницы (статьи) в категориях
Что я не учел и / или какие минусы в таком роботсе Вы видите?
Спасибо!
Гугл при просмотре с мобильного телефона (через мобильный интернет), страницы в поисковой выдаче, пишет что Мета-описание заблокировано robots.txt , при чем если делать тоже с компьютера или того же телефона, но через вайфай, то мета описание отображается корректно.
Сайт http://1rubalka.info
Робот
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /category
Disallow: /page
Disallow: /plugins
Disallow: /archives
Disallow: /step/.....
Disallow: /go
Disallow: /goto
Запрос "Характеристика удилищ" второй в поисковой выдаче
Добрый день. Яндекс анонсировал, что перестает учитывать Crawl-Delay. Подскажите, учитывает ли его гугл, и есть ли смысл прописывать его в robots.txt?
Добрый день. Яндекс анонсировал, что перестает учитывать Crawl-Delay. Подскажите, учитывает ли его гугл, и есть ли смысл прописывать его в robots.txt?
А зачем?
Если ваш сайт падает от какого-то там поискового робота, то что вы будете делать, когда на сайт придут столь вожделенные настоящие посетители?
Тенденции поисковиков еще с прошлого года - учитывать скорость отдачи страницы.
Она должна быть максимально быстрой.
Иначе будет плохое ранжирование.
А если вы добились быстрой отдачи страницы, то Crawl delay вам и не нужен.
https://support.google.com/webmasters/answer/48620?hl=ru
По Crawl-Delay и раньше неоднократно встречал инфу, что гуглом не учитывается.
Зайти в вебмастер и посмотреть религия не позволяет?
Дико извиняюсь, но не могли бы вы подсказать где можно в вэбмастере посмотреть правильный робот.тхт или нет?
Свой я вижу и это понятно но с чем сравнить? Или где посомтреть что он действительно как надо.
Спасибо.
---------- Добавлено 28.02.2018 в 09:29 ----------
Дико извиняюсь, но не могли бы вы подсказать где можно в вэбмастере посмотреть правильный робот.тхт или нет?
Свой я вижу и это понятно но с чем сравнить? Или где посомтреть что он действительно как надо.
Спасибо.
Нашел, се нашел /ru/forum/828288
Извиняюсь за беспокойство.
Подскажите пожалуйста
18. User-Agent: Yandex
19. Disallow: /page/*
20. Disallow: /*/page/*
21. Disallow: /symbol/
как изменить 20 пункт(20. Disallow: /*/page/*) РЗРЕШИТЬ ИНДЕКСАЦИЮ ДЛЯ ПС ?
в файле роботс..что в 20 пункте прописать?
---------- Добавлено 03.03.2018 в 16:51 ----------
не нашла вообще как исправить роботс чтобы весь сайт индексировался ПС.
на данный момент все вот так:
User-Agent: Googlebot
Disallow: /page/*
Disallow: /*/page/*
Disallow: /symbol/
Disallow: /symbol/*
Disallow: /symbol/*/page/*
Disallow: /director/*/page/*
Disallow: /smotret-filmy/*/page/*
Disallow: /smotret-onlayn/*/page/*
Disallow: /tmp/
Disallow: /statics/
Disallow: /index.php?
Disallow: /index.php?mode*
Disallow: /calendar/
Disallow: /filmy-s-uchastiem/*/page/*
Disallow: /filmy-s-uchastiem/*
User-Agent: Yandex
Disallow: /page/*
Disallow: /*/page/*
Disallow: /symbol/
Disallow: /symbol/*
Disallow: /symbol/*/page/*
Disallow: /director/*/page/*
Disallow: /smotret-filmy/*/page/*
Disallow: /smotret-onlayn/*/page/*
Disallow: /tmp/
Disallow: /statics/
Disallow: /index.php?
Disallow: /index.php?mode*
Disallow: /calendar/
Disallow: /filmy-s-uchastiem/*/page/*
Disallow: /filmy-s-uchastiem/*
и здесь хост-адрес сайта
Какие-то страницы индексируются а какие-то нет...соотношение- 5% проиндексировались,остальные нет
остальные нет
Какие, например?
Подскажите пожалуйста
18. User-Agent: Yandex
19. Disallow: /page/*
20. Disallow: /*/page/*
21. Disallow: /symbol/
как изменить 20 пункт(20. Disallow: /*/page/*) РЗРЕШИТЬ ИНДЕКСАЦИЮ ДЛЯ ПС ?
в файле роботс..что в 20 пункте прописать?
Замените на
Allow: /*/page/*