Нужно ли закрывать в robots эти страницы?

12
ND
На сайте с 17.10.2016
Offline
29
2018

Ребя нужен совет от опытных. На сайте пошла такая тема. В веб-мастере в разделе "Загруженные страницы" у меня начали появляться страницы с вот такими урлами: edinstvoyug.ru/?p=751, edinstvoyug.ru/?p=766 и т.п. с http-кодом 301. Редирект идет на нормальные страницы. В выдаче их нет, но я вот думаю, если в robots.txt их закрою не навредит ли это моему сайту?

GoRSS
На сайте с 29.07.2013
Offline
138
#1
?p=751

Страница с ID 751, после 301 редирект на ЧПУ-урл.

Тут вопрос в другом: что ссылается на ?p=..., а не на /text .

Закрывать не надо, 301 редирект и так переклеит. Судя по всему, сайт самопис. Поинтересуйтесь у разработчиков о причинах, как могли урлы с GET-переменными попасть в выдачу. Возможно изначально сайт был без sef-урлов (ЧПУ), проиндексировался, а потом ввели sef.

PS: в sitemap ссылки ведут на нормальные урлы.

https://commersoft.ru - софт: Google Indexing [индексация в Гугле по API] - Webcontrol [мониторинг сайтов и доменов]
AM
На сайте с 27.03.2012
Offline
137
#2

да закрывайте, вам что, жалко строчки в текстовом файле?

Пока ещё не придумал
AlexStep
На сайте с 23.03.2009
Offline
354
#3

Я закрываю, использую Disallow: */?

ND
На сайте с 17.10.2016
Offline
29
#4
GoRSS:
Страница с ID 751, после 301 редирект на ЧПУ-урл.

Тут вопрос в другом: что ссылается на ?p=..., а не на /text .

Закрывать не надо, 301 редирект и так переклеит. Судя по всему, сайт самопис. Поинтересуйтесь у разработчиков о причинах, как могли урлы с GET-переменными попасть в выдачу. Возможно изначально сайт был без sef-урлов (ЧПУ), проиндексировался, а потом ввели sef.

PS: в sitemap ссылки ведут на нормальные урлы.

На сайте изначально был включен ЧПУ. Но вот только пару месяцев назад начали появляться такие ссылки. Я регулярно мониторю сайт

---------- Добавлено 28.12.2016 в 10:49 ----------

Вот я думаю, закрыть тогда, прописав данную строчку?)

GoRSS
На сайте с 29.07.2013
Offline
138
#5

Думаю что да, закрыть. Нужно искать, откуда ноги растут. Имя у этой cms есть?

cheredov
На сайте с 07.04.2011
Offline
125
#6
NIFAED:
Вот я думаю, закрыть тогда, прописав данную строчку?)

А почему rel="canonical" не хотите использовать? А так 301 редиректа должно быть достаточно. Кстати еще есть "Clean-param" для Яндекса, а в Гугл.Вебмастере "Параметры URL".

Иван Чередов (http://ivan.cheredov.com/about/)
angel57
На сайте с 01.04.2014
Offline
155
#7
GoRSS:
Страница с ID 751, после 301 редирект на ЧПУ-урл.

Тут вопрос в другом: что ссылается на ?p=..., а не на /text .

Закрывать не надо, 301 редирект и так переклеит. Судя по всему, сайт самопис. Поинтересуйтесь у разработчиков о причинах, как могли урлы с GET-переменными попасть в выдачу. Возможно изначально сайт был без sef-урлов (ЧПУ), проиндексировался, а потом ввели sef.

PS: в sitemap ссылки ведут на нормальные урлы.

вы прикалываетесь? какой самопис, вордпресс 😂

ссылки эти берутся из строки в хедере <link rel='shortlink' href='http://edinstvoyug.ru/?p=7' />

в роботс добавьте строку Disallow: /?p=

чтобы таких ссылок в хедере не было, можно юзать плагин wp_head() cleaner например или аналог, можно в functions.php самостоятельно их убрать.

P.S.

Host: edinstvoyug.ru

эта строка должна так выглядеть, протокол указывать надо только если сайт на https

---------- Добавлено 28.12.2016 в 19:54 ----------

cheredov:
А почему rel="canonical" не хотите использовать?

он там есть 🍿

---------- Добавлено 28.12.2016 в 19:56 ----------

P.P.S. в подвале поменяйте "г. Кранодар" :)

AS
На сайте с 26.12.2016
Offline
9
#8

1. редирект со временем будет учтен, и поэтому ничего в robots закрывать не нужно

2. даже если закрывать любой url в роботс.тхт, нет никакой гарантии, что он не попадет в индекс (но у вас - не попадет, тк есть 301)

на практике можно и добавить пару строк в роботс, вопрос более интересен для понимания работы пс

Sent from my iPhone using Tapatalk

SEO блог для начинающих: - YouTube канал (https://youtube.com/c/seohard) | SEOHARD.COM (https://youtube.com/c/seohard) | Facebook (https://facebook.com/seohard) Подпишись, будем расти вместе!
WR
На сайте с 27.04.2016
Offline
56
#9
AlexStep:
Я закрываю, использую Disallow: */?

В самый раз!

сайты на OVH
SoftoMan
На сайте с 06.04.2016
Offline
48
#10

Естественно закрывать... Вебмастер не зря ругает как правило.

Лучшая монетизация практически любого трафика (http://offergate.pro/r/1022) WEB-push / Баннерки / Браузеры (http://offergate.pro/r/1022)
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий