Пагинация в ИМ закрытая/открытая для индексации

1 2345 6
Антоний Казанский
На сайте с 12.04.2007
Offline
686
#31
богоносец #:
Почему бы не воспользоваться robots.txt для исключения их сканирования? (только не надо щас громких воспоминаний, что 'это не запрет' ... если в выдаче и покажет, то не все)

Потому что есть разница между предположениями и конкретной SEO практикой.

Гугл может проиндексировать страницы запрещенные через robots и выведет предупреждение, что указанные страницы закрыты для индексации в robots.txt. Нужно это человеку? Очевидно не нужно! Если вы об этом знаете, зачем давать вредные советы?

√ SEO продвижение ► https://akazansky.ru - экспертный аудит сайтов ( https://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга.
богоносец
На сайте с 30.01.2007
Offline
763
#32
Антоний Казанский #:
поисковая система обращается по указанному адресу и скачивает документ (вне зависимости какие инструкции стоят в meta)

, не разделяя его на выдуманную "пользовательскую часть"... и какая там у вас "служебная"? А title и meta-description вы к чему отнесёте?

Но как бы то ни было, не существует запрета на сканирование пользовательской части отдельно от служебной, HTTP не позволяет. Использование meta-noindex равносильно расходованию обращений бота к сайту. 

Антоний Казанский #:
Гугл может проиндексировать страницы запрещенные через robots и выведет предупреждение, что указанные страницы закрыты для индексации в robots.txt. Нужно это человеку? Очевидно не нужно!

А вы посмотрите выше что человека беспокоит. 

А в случае запрета в роботс.тхт - индекса нет, даже есть в выдаче... проверьте по поиску контента. Так что бредить не надо, каким бы человечным ваш бред ни был.

Антоний Казанский
На сайте с 12.04.2007
Offline
686
#33
богоносец #:
, не разделяя его на выдуманную "пользовательскую часть"... и какая там у вас "служебная"? А title и meta-description вы к чему отнесёте?

Я не знаю, какие у вас логические механизмы срабатывает на мои слова, но еще раз - прочитайте про классическую структуру html документа. Есть служебная часть документа и есть пользовательская. Это данность.

Далее, я не говорил, что при сканировании и индексации документа поисковик их разделяет, я лишь говорил, что при индексации пользовательская часть в кэше проиндексированного адреса может отсутствовать.

Далее - title и meta-description вы отнесете сами куда вам надо без меня.


богоносец #:
Но как бы то ни было, не существует запрета на сканирование пользовательской части отдельно от служебной

Не существует. Я (ещё раз) и не говорил, что существует такой запрет. Но есть механизм при котором, получив служебную информацию (например, ответ на запрос "if-modified-since"), поисковик может не скачивать/сканировать/индексировать документ.

Есть в этом случае разделение на служебную информацию которую поисковик получил и не стал индексировать содержание? По факту конкретного рабочего эпизода - есть. Но из этого не следует, что поисковик делит title, description и зону <body> на разные части и как-либо регламентирует их раздельную индексацию. 

богоносец
На сайте с 30.01.2007
Offline
763
#34
Антоний Казанский #:
разделение на служебную информацию которую поисковик получил и не стал индексировать содержание

Избрехаться хочется? Заменить на индексирование, отвечая про сканирование. 

В случае с мета-ноуиндекс  сканирование документа не запрещено (как в случае с запретом в роботс.тхт), бот будет его запрашивать - расходуя лимит обращений... ну если не подсказать ему в xml карте сайта.

Антоний Казанский
На сайте с 12.04.2007
Offline
686
#35
богоносец #:
А вы посмотрите выше что человека беспокоит. 

То, что человека беспокоит я ответил в первом же ответе.


богоносец #:
А в случае запрета в роботс.тхт - индекса нет, даже есть в выдаче... проверьте по поиску контента.

Вы понимаете, что автору не нужны лишние адреса в индексе хоть с проиндексированным содержанием, хоть нет?

Или вам принципиально нужно поспорить на предмет ваших искаженных выводов с чужих слов?


богоносец #:
Так что бредить не надо, каким бы человечным ваш бред ни был.

Я даю честные и внятные советы на основе своего многолетнего опыта.

Антоний Казанский
На сайте с 12.04.2007
Offline
686
#36
богоносец #:
В случае с мета-ноуиндекс  сканирование документа не запрещено

Напишите эту светлую мысль в тех. поддержку Гугла вот на этот контекст:


Вы либо не понимаете разницы между техническим регламентом работы поискового робота и пользовательскими настройками, либо просто троллите. 

Ежу понятно, что для того, чтобы учесть noindex, поисковому роботу нужно скачать документ. Равно как и изменение meta информации на другое значение поисковик поймет через скачивание документа, даже если стоит noindex. 

И закроем тему, потому что мне общаться в таком тоне никакого удовольствия не доставляет. 

богоносец
На сайте с 30.01.2007
Offline
763
#37
Антоний Казанский #:
автору не нужны лишние адреса в индексе хоть с проиндексированным содержанием

В случае запрета в роботсе - индекса нет, контент не ищется, не путайте наличие в выдаче с индексом. Хватит вам путаницы про сканирование/индексирование, а то из этого возникает ну такой человеческий опыт... 

Роботс.тхт вполне справляется с тем, что про него пишут в хелпах. Для простых смертных сайтов, не проспамленых людьми, не возникает даже наличия в выдаче с пометкой. 

Антоний Казанский #:
Напишите эту светлую мысль в тех. поддержку Гугла

Ну а что они ответят, "менеджеры перешли на работу каперайторами, деньги зарабатывать надо"... 

Антоний Казанский #:

Вы либо не понимаете разницы между техническим регламентом работы поискового робота и пользовательскими настройками, либо просто троллите. 

Ежу понятно, что для того, чтобы учесть noindex, поисковому роботу нужно скачать документ

Не тролю, а напоминаю, что надо экономить т.н. 'краулинговый бюджет' в случае больших сайтов. И человечий бред различаю

Антоний Казанский
На сайте с 12.04.2007
Offline
686
#38
богоносец #:
В случае запрета в роботсе - индекса нет, контент не ищется, не путайте наличие в выдаче с индексом.

Глупости какие. Результат (даже тот, который вы указали) может быть только в результате индексации.

Если путаетесь с понятиями, в частности Яндекс напоминает,


и никаких других магических механизмов появления страниц сайта в индексе нет.

То, что вышеуказанный документ не ищется по контентному содержимому это ещё не значит, что он попал в индекс как-то иначе в обход общего механизма индексации. Здесь уже вы занимаетесь совершенно ненужным мифотворчеством.

В данном случае ситуация вполне конкретно разъясняется,



богоносец #:
Ну а что они ответят, "менеджеры перешли на работу каперайторами, деньги зарабатывать надо"... 

А чем ваш или мой копирайтинг на форуме принципиально отличается от их?

Правильно, регламентированной ответственностью написанного. Однако если написанное в справке вызывает недопонимание, то возможно они найдут для вас более убедительные объяснения. Полагаю в общении с ними у вас будет хватать такта не упоминать сказочные мотивы.


богоносец #:
Хватит вам путаницы про сканирование/индексирование, а то из этого возникает ну такой человеческий опыт... 

Путаницу, простите, вносите вы, задавая наводящие вопросы из неправильно понятых рассуждений.


богоносец #:
напоминаю, что надо экономить т.н. 'краулинговый бюджет' в случае больших сайтов. И человечий бред различаю

Про бред - опустим, препирательство неинтересно, а экономию краулингового бюджета, если уж на то пошло вы совершенно не раскрыли в том объёме, в котором требует данный вопрос. 

Принципиально я от настройки запретов в robots.txt не отговариваю - здесь у меня с вами никаких острых противоречий нет, но это далеко не всё, что необходимо рассматривать в вопросе про экономию краулинга бюджета. Впрочем, это уже совсем другая тема.

богоносец
На сайте с 30.01.2007
Offline
763
#39
Антоний Казанский #:
Результат (даже тот, который вы указали) может быть только в результате индексации

Нет, это по тексту ссылки. Индексации нету. И на этом форуме давно было показано "есть в выдаче, нет в индексе" и наоборот. В любом случае это не повод забивать на роботс.тхт по надуманным причинам.  

Антоний Казанский #:
То, что вышеуказанный документ не ищется по контентному содержимому это ещё не значит, что он попал в индекс как-то иначе в обход общего механизма индексации

Он не попал в индекс. 

А хелпы умершей конторы - и ворошить поздновато, в них не описание действительности, а пропаганда.

Антоний Казанский #:
А чем ваш или мой копирайтинг на форуме принципиально отличается от их?

Оба вводят в заблуждение. У писателей хелпов - работа такая, а вам бы прикрыться словом 'опыт'...

Антоний Казанский
На сайте с 12.04.2007
Offline
686
#40
богоносец #:
Нет, это по тексту ссылки. Индексации нету. И на этом форуме давно было показано "есть в выдаче, нет в индексе" и наоборот.

Ещё раз. Нет иного механизма сохранения страниц в индексе, кроме индексирования. Хоть целиком, хоть частью, хоть одним адресом. Спорить просто глупо, выдержки я вам привел выше.

У меня у самого есть такие примеры на рабочих сайтах и там фиксируется даже не текст ссылки, а просто адреса. Так что это не более, чем частный случай индексации.

Как ни крути - это самостоятельный элемент в индексной базе и плодить такие страницы в индексе точно не стоит.

Потому что выглядеть это будет вот так,



богоносец #:
Он не попал в индекс. 

У частного случая индексации страницы есть конкретная причина,

  

богоносец #:
а вам бы прикрыться словом 'опыт'...

Мне прикрываться нет никакой надобности, я вам чётко и конкретно даю указания на справки, чтобы вы не изобретали новые смыслы и понятия тем процессам которые описаны и без моего опыта. Не говоря о том, что к вашему опыту в отсутствие каких-либо рабочих пруфов стоит отнестись как минимум с критической осторожностью.  

1 2345 6

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий