Все вопросы по robots.txt

A
На сайте с 01.04.2013
Offline
14
#331

Доброго времени суток

Сайт Вордпресс

У меня в файле robots.txt записано

Disallow: /*?*

Вследствие этого яндекс не проиндексировал много страниц типа - /?p=869

Это короткие ссылки. Я так думаю, они появились, когда я начал в твитере через биржу анонсировать публикацию новых страниц и постов. Там всего 140 знаков можно, поэтому стал ставить короткие ссылки и Текст соответствующий.

Запрет индексации страниц с короткой ссылкой, это плохо в данном случае? Или это не наносит вред сайту? Также есть ли тогда смысл в твитере с короткими ссылками, если есть запрет в robots.txt?

A0
На сайте с 15.03.2015
Offline
0
#332

bulatbulat48, Сасибо огромное!!!

B4
На сайте с 27.04.2012
Offline
94
#333
amberr:
Доброго времени суток
Сайт Вордпресс
У меня в файле robots.txt записано
Disallow: /*?*
Вследствие этого яндекс не проиндексировал много страниц типа - /?p=869
Это короткие ссылки. Я так думаю, они появились, когда я начал в твитере через биржу анонсировать публикацию новых страниц и постов. Там всего 140 знаков можно, поэтому стал ставить короткие ссылки и Текст соответствующий.
Запрет индексации страниц с короткой ссылкой, это плохо в данном случае? Или это не наносит вред сайту? Также есть ли тогда смысл в твитере с короткими ссылками, если есть запрет в robots.txt?

это на WP из за тега shortlink, закрывать такие урлы - обычная практика.

rusich86
На сайте с 02.02.2015
Offline
58
#334

Приветствую.

Скажите пжт, что здесь такое?

User-agent: *

Disallow: /wp-

Disallow: *?s=

Disallow: *?attachment_id=

Disallow: */feed

Disallow: /xmlrpc.php

Disallow: */page/

Allow: */uploads

B4
На сайте с 27.04.2012
Offline
94
#335
rusich86:
Приветствую.
Скажите пжт, что здесь такое?
User-agent: *
Disallow: /wp-
Disallow: *?s=
Disallow: *?attachment_id=
Disallow: */feed
Disallow: /xmlrpc.php
Disallow: */page/
Allow: */uploads

Disallow - закрывают

Allow - открывают

SM
На сайте с 17.08.2009
Offline
142
#336
bulatbulat48:
это на WP из за тега shortlink, закрывать такие урлы - обычная практика.

Я удалю shortlink в шаблоне.

B4
На сайте с 27.04.2012
Offline
94
#337
s-maximoff:
Я удалю shortlink в шаблоне.

я обычно сразу 2 метода применяю, удаляю шортлинк и закрываю в robots

P9
На сайте с 29.10.2014
Offline
34
#338

У меня ситуация следующая, подскажите пожалуйста, как сделать лучше с точки зрения SEO.

У меня блог, на нем много разных рубрик.

Соотвественно есть список страниц.

Насколько плохо, что яндекс и гугл индексируют след. страницы: http://blog.***.ru/page/3/ ?

И допустим у меня сейчас 150 постов, по 5 на страницу всего получается 30 страниц, соответственно, когда я удалю 5 постов, количество моих страниц уменьшится на одну и станец 29, а поисковик будет некоторое количество времени определять http://blog.***.ru/page/30/ -как 404 ошибку, пока у меня снова не заполниться.

Какое грамотное решение следует принять в данной ситуации.

Так как закрывать page/ не хочу, пишут что могут вылететь страницы.

B4
На сайте с 27.04.2012
Offline
94
#339
pianeer91:
У меня ситуация следующая, подскажите пожалуйста, как сделать лучше с точки зрения SEO.
У меня блог, на нем много разных рубрик.
Соотвественно есть список страниц.
Насколько плохо, что яндекс и гугл индексируют след. страницы: http://blog.***.ru/page/3/ ?
И допустим у меня сейчас 150 постов, по 5 на страницу всего получается 30 страниц, соответственно, когда я удалю 5 постов, количество моих страниц уменьшится на одну и станец 29, а поисковик будет некоторое количество времени определять http://blog.***.ru/page/30/ -как 404 ошибку, пока у меня снова не заполниться.
Какое грамотное решение следует принять в данной ситуации.
Так как закрывать page/ не хочу, пишут что могут вылететь страницы.

я не понял, может кто-то другой подскажет 😕

P9
На сайте с 29.10.2014
Offline
34
#340
bulatbulat48:
я не понял, может кто-то другой подскажет 😕

Вы не поняли вопроса? Или не знаете как лучше сделать в моей ситуации?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий