robots.txt для Wordpress?

123
phoenix555
На сайте с 20.11.2008
Offline
175
#11

serjoo, навигацию по страницам в самой категории, т.е. site.ru/category/somecategory/page2 и т.д.

💦💦💦 XMLRiver.com - Выдача Google и Yandex в формате XML.Yandex | От 10р за 1000 запросов 🍀🍀🍀 KeyAssort.com - Программа для профессиональной кластеризации поисковых запросов
SeVlad
На сайте с 03.11.2008
Offline
1609
#12
SEO66:
А они дублируют соответствующие страницы, например, с ЧПУ.

И чё?

Кошачий:
Если открытыми оставлять, то в выдаче дубли будут.

шовыгооврите :)

Делаю хорошие сайты хорошим людям. Предпочтение коммерческим направлениям. Связь со мной через http://wp.me/P3YHjQ-3.
Кошачий
На сайте с 12.10.2012
Offline
116
#13

SeVlad, информативно 😂 Можно обсудить :)

Когда планета покроется котиками, она станет мягкой и пушистой ▲_▲ ▲_▲ Котосмайлы () на котофорум (/) ▲_▲
SeVlad
На сайте с 03.11.2008
Offline
1609
#14
Кошачий:
Можно обсудить

Прикинь, ВП генерит каноникал. Нежданчик? :)

А все "универсальные" советы идут в сад.

Кошачий
На сайте с 12.10.2012
Offline
116
#15
SeVlad:
ВП генерит каноникал.

Однако :)

SeVlad:
Нежданчик?

Он самый 🤪 не знал (а точнее не задумывался об этом, по-старинке оно как-то проще было).

Окай, тогда я пошел 😂

G-and-Y
На сайте с 29.06.2013
Offline
185
#16

юзал этот вроде все ок

http://alaev.info/blog/post/4143

Абузо-устойчивые впс ( http://vps-hosting.lv/?p=13408 )
SeVlad
На сайте с 03.11.2008
Offline
1609
#17
Кошачий:
тогда я пошел

Вот тебе в дорогу неполезных вкусняшек: 🍿

:)

G-and-Y:
юзал этот

Сам виноват :) Неоднократно доказано, что это ГС с дезой.

G-and-Y
На сайте с 29.06.2013
Offline
185
#18

гс не гс, но там много советов в частности по дле, к стати я такой же роботс юзаю на дле и не на 1 сайте.

Zevss
На сайте с 23.03.2008
Offline
389
#19

SeVlad, по Вашему как должен выглядеть robots?

Продаются сайты с доходом, недорого https://www.maultalk.com/topic356667.html
XAHTOB
На сайте с 08.03.2010
Offline
273
#20
Zevss:
как должен выглядеть robots?

роботс как зубная щетка - у каждого свой.

у меня такой

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /?
Disallow: /metki
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: ********.com

User-agent: *
Disallow: /cgi-bin
Disallow: /?
Disallow: /metki
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: *****.com
всем кто окончил школу жизни вручают мраморный диплом ©
123

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий