Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 14.11.2019, 16:07   #331
goldyd
Студент
 
Регистрация: 21.10.2015
Сообщений: 17
Репутация: 161

По умолчанию Re: Как закрыть в robots ссылки с /edit в конце

Цитата:
Сообщение от XPraptor Посмотреть сообщение
Правило обработки строк стандартное для регуярок.
Disallow: /*/edit/

Но учитывайте со слэшем или без в конце закрываете (/*/edit$ или вообще если есть /edit в любом месте: /*/edit*)

Если хотите отсечь в конце строку, то добавляйте $, чтобы совпадения не искались дальше.
спасибо. в моем случае - для варианта, где /edit в конце , пример : domen../ru/10332-recept-prigotovlenija-ku-poshagovii-s-foto/edit


будет - Disallow: /*/edit$

я верно понял вас?
goldyd вне форума   Ответить с цитированием

Реклама
Старый 14.11.2019, 16:12   #332
XPraptor
WebMonster
 
Аватар для XPraptor
 
Регистрация: 15.10.2004
Адрес: Minsk
Сообщений: 3,255
Репутация: 267450

По умолчанию Re: Как закрыть в robots ссылки с /edit в конце

goldyd, да, именно так.
XPraptor вне форума   Ответить с цитированием
Сказали спасибо:
Старый 03.12.2019, 15:54   #333
River
ПенZионер
 
Аватар для River
 
Регистрация: 25.02.2011
Адрес: Страна чудес
Сообщений: 1,356
Репутация: 123169
Социальные сети

По умолчанию Re: Все вопросы по robots.txt - 2

Подскажите, крайняя снизу строчка - прописана правильно? Сайт проиндексирован.
Изображения
 

Последний раз редактировалось River; 03.12.2019 в 16:09..
River вне форума   Ответить с цитированием
Старый 03.12.2019, 15:58   #334
WCREATOR
Аспирант
 
Регистрация: 27.04.2016
Сообщений: 209
Репутация: -9141

По умолчанию Re: Все вопросы по robots.txt - 2

Allow: /*?$
Disallow: /*?
WCREATOR вне форума   Ответить с цитированием
Старый 03.12.2019, 16:08   #335
River
ПенZионер
 
Аватар для River
 
Регистрация: 25.02.2011
Адрес: Страна чудес
Сообщений: 1,356
Репутация: 123169
Социальные сети

По умолчанию Re: Все вопросы по robots.txt - 2

WCREATOR, если ответ для меня - прошу комментарии текстом.
River вне форума   Ответить с цитированием
Старый 04.12.2019, 14:51   #336
Борис С
Аспирант
 
Аватар для Борис С
 
Регистрация: 21.11.2008
Сообщений: 165
Репутация: 18283

По умолчанию Re: Все вопросы по robots.txt - 2

А как можно запретить для индексации в Гугл - файлы pdf doc - там инструкции, служебные неуникальные документы, законы, бланки и т.п.

То есть такого у меня набирается около 500 неуникальных документов по сайту на них идут ссылки с материалов ( как раз типа доказательства качества контента )

директива robots.txt сейчас прописана так

Disallow: /*.pdf
Disallow: /*.doc
Disallow: /*.rtf

В консоли пишет , проиндексировано не смотря на запрет в robots.txt

Как запретить их индексацию и сделать так, чтобы они не индексировались в Гугле?
Борис С вне форума   Ответить с цитированием
Ответ

Метки
clean , param , robots , robots.txt , seo



Опции темы

Быстрый переход


Регистрация Справка Календарь Поддержка Все разделы прочитаны