Все вопросы по robots.txt - 2

nicha
На сайте с 29.10.2005
Offline
142
#311

Задача запретить гуглу индексировать сайт, но разрешить вход адсенс боту.

Сначала я запретил всех ботов

User-agent: *

Disallow: /

Индекса нет, но при модерации адсенсом сайта, отклон: "сайт недоступен", т.к. бота адсенса отфутболил.

Погуглил и сделал так:

User-agent: Googlebot

Disallow: /

User-agent: Mediapartners-Google

Disallow:

Индекс есть, модерацию проходит.

Подозреваю, что индексирует сайт бот с другим именем, но тут других не указано.

Зашел в логи хостинга, там только айпишники, юзерагентов нет.

Как запретить всех ботам , кроме Mediapartners, так прокатит?

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /

Как правильно настроить роботс, под мою задачу?

Greatbolt
На сайте с 22.05.2011
Offline
84
#312

Тут почитайте про allow директиву для robots, очень все доступно

Отличные тексты для Бурж сайтов. Вебархив. Ищу сам, за качество отвечаю. 12 руб. / 1к текста. Оплата после проверки текстов. Отдаю в одни руки. Уникальность 90-100% etxt/text.ru/content-watch.
VO
На сайте с 09.04.2019
Offline
8
#313

Вот мой короткий robots.txt

User-agent: *

Allow: /

Disallow: /admin/

Sitemap: https://suntown-ukra...com/sitemap.xml

часто видел что в файле robots.txt указывают очень много правил, стоит ли мне указывать их больше?

как я понимаю поисковые роботы индексируют всё что есть на сервере в сайте, если у меня в связи с тем, что я не кодер, нету доступа к серверной части сайта, то получается я и не смогу указать ничего более подробно в robots.txt? Или есть какие-то стандартные правила составления всех robots.txt?

Lazy Badger
На сайте с 14.06.2017
Offline
168
#314

1. "Правильно заданный вопрос - половина ответа"

2. Правильно (полно и понятно) написанный заголовок - +100% к шансу того, что сообщение будет открыто и хотя бы прочитано

3. "Если ничего не помогает - прочтите наконец документацию"

По всему этому ответ на вопрос "Составление правильного robots.txt для моего сайта" будет скорее всего таким:

robots.txt включает в себя страницы и маски страниц сайта, которые хозяин-разработчик-автор сайта считает ненужными в индексе поисковых систем по разным причинам, по своим принципам, учитывая что

Без robots.txt та информация, которая должна быть скрыта от посторонних глаз, может попасть в выдачу, а из-за этого пострадаете и вы, и сайт.

и на зная сайта, сказать, полный или неполный набор правил, могут только всезнающие "иксперды", но у них сейчас, к сожалению, каникулы

Если серьезно, то

* "Allow /" является бесполезной в контексте директивой, потому как "разрешено все, что явно не запрещено"

* проверить, как сайт будет доступен спайдерам, можно при помощи любого краулера, который понимает и парсит robots.txt - просто просканировать сайт и посмотреть, нет ли чего лишнего в выдаче (что не гаранирует, что это "лишнее" не появится потом в выдаче при помощи внешних ссылок) или же нагуглить "рекомендованный robots.txt для <CMS> <Version>" и думать над результатами поисков

Производство жести методом непрерывного отжига
DM
На сайте с 21.08.2014
Offline
38
#315

Здравствуйте. Интересует такой вопрос: если в robots.txt указать запрет индексации определенного раздела, например:

Disallow: /category/

исчезнут ли из выдачи страницы данного раздела, вроде /category/page.html, которые до этого уже проиндексировались?

Спасибо.

S
На сайте с 30.09.2016
Offline
459
#316
Dark Master:
если в robots.txt указать запрет индексации

Вы не можете запретить индексацию в robots.txt. Вы можете запретить роботу (рекомендательно, естественно) посещать указанный в директиве ресурс.

Отпилю лишнее, прикручу нужное, выправлю кривое. Вытравлю вредителей.
V8
На сайте с 17.10.2018
Offline
12
#317

Даже полностью запретить индексацию сайта, он не выпадет из поиска.

Внешние ссылки на эти страницы с категорией есть?

Лучшие ПП с высоким RevShare, CPA (https://partnerkca.blogspot.com/)
DM
На сайте с 21.08.2014
Offline
38
#318
Vit86:
Даже полностью запретить индексацию сайта, он не выпадет из поиска.
Внешние ссылки на эти страницы с категорией есть?

Возможно на некоторые страницы категории ссылки имеются, но мне нужно было удалить из выдачи Яндекса конкретно саму страницу раздела - site.ru/category/, на которой частично дублируется контент внутренних страниц раздела. Собственно запрос на удаление уже сделал в Вебмастере, вроде осталось дождаться апдейта.

Интересует еще один вопрос: как правильно запретить роботу ходить по урлам, содержащим определенные параметры или символы, в частности символ "?" (знак вопроса).

Как правильно сделать:

Disallow: /*?* , Disallow: /*? , Disallow: *?* или Disallow: *? ?

[Удален]
#319

Второй, что ж так прямые инструкции неясны...

E
На сайте с 29.02.2012
Offline
126
#320

Что-то тип того, для настройки гипотетического сайта.

User-agent: *

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /feed/

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */comments

Disallow: /category/*/*

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /*?*

Disallow: /?s=

Allow: *?replytocom

User-agent: Yandex

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /feed/

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */comments

Disallow: /category/*/*

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /*?*

Disallow: /?s=

Allow: *?replytocom

Host: ваш-сайт.ru

Sitemap:

Sitemap:

Кластеризатор ключевых слов (https://seoquick.com.ua/keyword-grouping/) - Группировка 20,000 слов за 1 минуту. Калькулятор качества Title (https://seoquick.com.ua/calculator-title/) - Калькулятор качества заголовков Генератор объявлений Google Ads (https://seoquick.com.ua/adwords-generator/) - Генерируй сотни объявлений

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий