- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Задача запретить гуглу индексировать сайт, но разрешить вход адсенс боту.
Сначала я запретил всех ботов
User-agent: *
Disallow: /
Индекса нет, но при модерации адсенсом сайта, отклон: "сайт недоступен", т.к. бота адсенса отфутболил.
Погуглил и сделал так:
User-agent: Googlebot
Disallow: /
User-agent: Mediapartners-Google
Disallow:
Индекс есть, модерацию проходит.
Подозреваю, что индексирует сайт бот с другим именем, но тут других не указано.
Зашел в логи хостинга, там только айпишники, юзерагентов нет.
Как запретить всех ботам , кроме Mediapartners, так прокатит?
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /
Как правильно настроить роботс, под мою задачу?
Тут почитайте про allow директиву для robots, очень все доступно
Вот мой короткий robots.txt
User-agent: *
Allow: /
Disallow: /admin/
Sitemap: https://suntown-ukra...com/sitemap.xml
часто видел что в файле robots.txt указывают очень много правил, стоит ли мне указывать их больше?
как я понимаю поисковые роботы индексируют всё что есть на сервере в сайте, если у меня в связи с тем, что я не кодер, нету доступа к серверной части сайта, то получается я и не смогу указать ничего более подробно в robots.txt? Или есть какие-то стандартные правила составления всех robots.txt?
1. "Правильно заданный вопрос - половина ответа"
2. Правильно (полно и понятно) написанный заголовок - +100% к шансу того, что сообщение будет открыто и хотя бы прочитано
3. "Если ничего не помогает - прочтите наконец документацию"
По всему этому ответ на вопрос "Составление правильного robots.txt для моего сайта" будет скорее всего таким:
robots.txt включает в себя страницы и маски страниц сайта, которые хозяин-разработчик-автор сайта считает ненужными в индексе поисковых систем по разным причинам, по своим принципам, учитывая что
и на зная сайта, сказать, полный или неполный набор правил, могут только всезнающие "иксперды", но у них сейчас, к сожалению, каникулы
Если серьезно, то
* "Allow /" является бесполезной в контексте директивой, потому как "разрешено все, что явно не запрещено"
* проверить, как сайт будет доступен спайдерам, можно при помощи любого краулера, который понимает и парсит robots.txt - просто просканировать сайт и посмотреть, нет ли чего лишнего в выдаче (что не гаранирует, что это "лишнее" не появится потом в выдаче при помощи внешних ссылок) или же нагуглить "рекомендованный robots.txt для <CMS> <Version>" и думать над результатами поисков
Здравствуйте. Интересует такой вопрос: если в robots.txt указать запрет индексации определенного раздела, например:
Disallow: /category/
исчезнут ли из выдачи страницы данного раздела, вроде /category/page.html, которые до этого уже проиндексировались?
Спасибо.
если в robots.txt указать запрет индексации
Вы не можете запретить индексацию в robots.txt. Вы можете запретить роботу (рекомендательно, естественно) посещать указанный в директиве ресурс.
Даже полностью запретить индексацию сайта, он не выпадет из поиска.
Внешние ссылки на эти страницы с категорией есть?
Даже полностью запретить индексацию сайта, он не выпадет из поиска.
Внешние ссылки на эти страницы с категорией есть?
Возможно на некоторые страницы категории ссылки имеются, но мне нужно было удалить из выдачи Яндекса конкретно саму страницу раздела - site.ru/category/, на которой частично дублируется контент внутренних страниц раздела. Собственно запрос на удаление уже сделал в Вебмастере, вроде осталось дождаться апдейта.
Интересует еще один вопрос: как правильно запретить роботу ходить по урлам, содержащим определенные параметры или символы, в частности символ "?" (знак вопроса).
Как правильно сделать:
Disallow: /*?* , Disallow: /*? , Disallow: *?* или Disallow: *? ?
Второй, что ж так прямые инструкции неясны...
Что-то тип того, для настройки гипотетического сайта.
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /?s=
Allow: *?replytocom
User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /?s=
Allow: *?replytocom
Host: ваш-сайт.ru
Sitemap:
Sitemap: