Форум Практика оптимизации Частные вопросы - ранжирование, индексация, бан

Актуальный robots.txt

L
На сайте с 04.09.2024
Offline
4
litecoine
654

Отсек все лишнее, оставил необходимое.
Комментарии приветствуются.

User-agent: *
Allow: /

User-Agent: spbot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: SeznamBot
Disallow: /

User-agent: ExaBot
Disallow: /

User-agent: CrazyWebCrawler-Spider
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: Applebot-Extended
Disallow: /


Vladimir SEO
На сайте с 19.10.2011
Offline
1878
Vladimir SEO
#1
litecoine :
Комментарии приветствуются.
на сайте нету админки, лк итд ?
Эксперт по продуктам Google https://support.google.com/profile/58734375 ᐈ Продвижение коммерческих сайтов https://kulinenko.com/
bobolab
На сайте с 08.04.2008
Offline
212
bobolab
#2

Можно так оставить

User-agent: *
Allow: /

Ибо ботам этим роботс до лампочки.

Аналог РСЯ https://u.to/j03BHw Видео реклама https://u.to/e03BHw
L
На сайте с 04.09.2024
Offline
4
litecoine
#3
Vladimir SEO #:
на сайте нету админки, лк итд ?
Нет, сайт статический.
Koukou Roukou
На сайте с 13.10.2024
Offline
25
Koukou Roukou
#4
Ботов надо либо на уровне сервера разворачивать, либо средствами Cloudflare. Если в robots.txt пишешь правила — многим ботам это до лампочки, не все из них вежливые, многое не спрашивают разрешения и идут сразу на сайт.
Кина не будет, электричество кончилось. Результаты экспериментов публиковать не буду. Результаты AB-тестов рекламы тоже. Аккаунт можно аннигилировать.
Koukou Roukou
На сайте с 13.10.2024
Offline
25
Koukou Roukou
#5
Hatta #:

автор указал в своем роботсе именно "вежливых" роботов.

Если задача стоит прикрыть ссылочки от конкурентов — то список в стартпосте далеко не полный.

Если его дополнить — там будут и невежливые боты.

В таком случае, какой смысл вот этих плясок с robots? Проще всех на уровне сервера разворачивать.

А записи в robots — это тоже палево и причина покопаться поглубже.

Но в целом, я не настаиваю. Каждый блочит как он хочет)

Facebook расширит использование обратной Российские правообладатели настаивают на В интерфейсе Яндекс Директа
L
На сайте с 04.09.2024
Offline
4
litecoine
#6
Koukou Roukou #:

Проще всех на уровне сервера разворачивать.

Проще, только вот незадача, доступа к серверу нет, ибо статический сайт на github.com хостится.

poruchick
На сайте с 13.08.2007
Offline
217
poruchick
#7
Полнейшая дичь и бред. Я бы сказал, что для обработки контента и обхода роботс до лампочки. Особенно серым/чёрным ботам. Только перманентный бан ресурсами сервера, провайдера, прокси по подсетям, заголовкам, содержанию и т.п.
Остатки доменов по бросовым ценам - https://ssl.su | Лучший хостинг и VPS - https://sl.net.ru/inltr / | Профессиональный мониторинг доступности - https://sl.net.ru/pingservice . Я не SEOшник, я - админ, никсовод, интегратор, инженер, делюсь знаниями в меру возможности.
Роскомнадзор усилил блокировки Telegram Яндекс индексирует Flash Роскомнадзор разблокировал более 7

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий