Верен ли роботс?

M
На сайте с 08.09.2007
Offline
129
186

Здравствуйте. Прошу помочь оптимизировать robots.txt под яндекс и под гугл.

Спасибо откликнувшимся за помощь.

Вот пока полное содержание.

User-agent: *
Disallow: /cgi-bin          # классика...
Disallow: /?                # все параметры запроса на главной
Disallow: /wp-              # все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
Disallow: *?s=              # поиск
Disallow: *&s=              # поиск
Disallow: /search           # поиск
Disallow: /author/          # архив автора
Disallow: *?attachment_id=  # страница вложения. Вообще-то на ней редирект...
Disallow: */embed           # все встраивания
Disallow: */page/           # все виды пагинации
Allow: */uploads            # открываем uploads
Allow: /*/*.js              # внутри /wp- (/*/ - для приоритета)
Allow: /*/*.css             # внутри /wp- (/*/ - для приоритета)
Allow: /wp-*.png            # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.jpg            # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.jpeg           # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.gif            # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.svg            # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.pdf            # файлы в плагинах, cache папке и т.д.
#Disallow: /wp/             # когда WP установлен в подкаталог wp
#Disallow: /xmlrpc.php

Sitemap: https://сайт.ru/sitemap_index.xml   

# Версия кода: 1.0

Delahoya
На сайте с 13.11.2011
Offline
147
#1
роботс составляется индивидуально под каждый сайт. стандартные могут нести много лишних правил или недостающих
Когда-то здесь будет реклама.
Vladimir SEO
На сайте с 19.10.2011
Offline
1878
#2

это как одежду подбирать по фото основываясь на мнение публики которые не видят покупающего 😂

типа - а подойдут мне такие шорты ? Примерь их и покажи фото в них тогда и скажем подходят или нет

Эксперт по продуктам Google https://support.google.com/profile/58734375 ᐈ Продвижение коммерческих сайтов https://kulinenko.com/
L
На сайте с 10.02.2015
Offline
238
#3

Скорее это роботс под ВП.

Ждем специалистов по нему.

Delahoya
На сайте с 13.11.2011
Offline
147
#4
livetv #:

Скорее это роботс под ВП.

Ждем специалистов по нему.

такими вещами занимаются не спецы по вп, а сеошники. выше ответ дан. на кворке за 500 руб могут составить роботс специально под сайт

Midnight Pioneer
На сайте с 28.07.2022
Offline
13
#5

Сколько вордпрессоводов, столько и версий идеального роботса)

Зачем вот это открывать?

Allow: /wp-*.png            # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.jpg            # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.jpeg           # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.gif            # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.svg            # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.pdf            # файлы в плагинах, cache папке и т.д.

Если мы уже открыли вот это:

Allow: */uploads            # открываем uploads

По идее ведь все картинки необходимые лежат в /uploads и распиханы по годам, если там чего-то особенного сами не создали.

K6
На сайте с 28.02.2022
Offline
95
#6

для яндекса отдельно те же  правила пропишите еще

и от бинга некое подобие защиты:

User-Agent: bingbot
Crawl-delay: 10

у меня еще такое:

Disallow: /webstat/ 
Disallow: /trackback/
Disallow: /feed/
Disallow: /?feed=
Disallow: /?replytocom*
дешевые VIP VPS: https://clck.ru/324vy9

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий