- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Зачем быть уникальным в мире, где все можно скопировать
Почему так важна уникальность текста и как она влияет на SEO
Ingate Organic
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Почему бы не воспользоваться robots.txt для исключения их сканирования? (только не надо щас громких воспоминаний, что 'это не запрет' ... если в выдаче и покажет, то не все)
Потому что есть разница между предположениями и конкретной SEO практикой.
Гугл может проиндексировать страницы запрещенные через robots и выведет предупреждение, что указанные страницы закрыты для индексации в robots.txt. Нужно это человеку? Очевидно не нужно! Если вы об этом знаете, зачем давать вредные советы?
поисковая система обращается по указанному адресу и скачивает документ (вне зависимости какие инструкции стоят в meta)
, не разделяя его на выдуманную "пользовательскую часть"... и какая там у вас "служебная"? А title и meta-description вы к чему отнесёте?
Но как бы то ни было, не существует запрета на сканирование пользовательской части отдельно от служебной, HTTP не позволяет. Использование meta-noindex равносильно расходованию обращений бота к сайту.
Гугл может проиндексировать страницы запрещенные через robots и выведет предупреждение, что указанные страницы закрыты для индексации в robots.txt. Нужно это человеку? Очевидно не нужно!
А вы посмотрите выше что человека беспокоит.
А в случае запрета в роботс.тхт - индекса нет, даже есть в выдаче... проверьте по поиску контента. Так что бредить не надо, каким бы человечным ваш бред ни был.
, не разделяя его на выдуманную "пользовательскую часть"... и какая там у вас "служебная"? А title и meta-description вы к чему отнесёте?
Я не знаю, какие у вас логические механизмы срабатывает на мои слова, но еще раз - прочитайте про классическую структуру html документа. Есть служебная часть документа и есть пользовательская. Это данность.
Далее, я не говорил, что при сканировании и индексации документа поисковик их разделяет, я лишь говорил, что при индексации пользовательская часть в кэше проиндексированного адреса может отсутствовать.
Далее - title и meta-description вы отнесете сами куда вам надо без меня.
Но как бы то ни было, не существует запрета на сканирование пользовательской части отдельно от служебной
Не существует. Я (ещё раз) и не говорил, что существует такой запрет. Но есть механизм при котором, получив служебную информацию (например, ответ на запрос "if-modified-since"), поисковик может не скачивать/сканировать/индексировать документ.
Есть в этом случае разделение на служебную информацию которую поисковик получил и не стал индексировать содержание? По факту конкретного рабочего эпизода - есть. Но из этого не следует, что поисковик делит title, description и зону <body> на разные части и как-либо регламентирует их раздельную индексацию.
разделение на служебную информацию которую поисковик получил и не стал индексировать содержание
Избрехаться хочется? Заменить на индексирование, отвечая про сканирование.
В случае с мета-ноуиндекс сканирование документа не запрещено (как в случае с запретом в роботс.тхт), бот будет его запрашивать - расходуя лимит обращений... ну если не подсказать ему в xml карте сайта.
А вы посмотрите выше что человека беспокоит.
То, что человека беспокоит я ответил в первом же ответе.
А в случае запрета в роботс.тхт - индекса нет, даже есть в выдаче... проверьте по поиску контента.
Вы понимаете, что автору не нужны лишние адреса в индексе хоть с проиндексированным содержанием, хоть нет?
Или вам принципиально нужно поспорить на предмет ваших искаженных выводов с чужих слов?
Так что бредить не надо, каким бы человечным ваш бред ни был.
Я даю честные и внятные советы на основе своего многолетнего опыта.
В случае с мета-ноуиндекс сканирование документа не запрещено
Напишите эту светлую мысль в тех. поддержку Гугла вот на этот контекст:
Вы либо не понимаете разницы между техническим регламентом работы поискового робота и пользовательскими настройками, либо просто троллите.
Ежу понятно, что для того, чтобы учесть noindex, поисковому роботу нужно скачать документ. Равно как и изменение meta информации на другое значение поисковик поймет через скачивание документа, даже если стоит noindex.
И закроем тему, потому что мне общаться в таком тоне никакого удовольствия не доставляет.
автору не нужны лишние адреса в индексе хоть с проиндексированным содержанием
В случае запрета в роботсе - индекса нет, контент не ищется, не путайте наличие в выдаче с индексом. Хватит вам путаницы про сканирование/индексирование, а то из этого возникает ну такой человеческий опыт...
Роботс.тхт вполне справляется с тем, что про него пишут в хелпах. Для простых смертных сайтов, не проспамленых людьми, не возникает даже наличия в выдаче с пометкой.
Напишите эту светлую мысль в тех. поддержку Гугла
Ну а что они ответят, "менеджеры перешли на работу каперайторами, деньги зарабатывать надо"...
Вы либо не понимаете разницы между техническим регламентом работы поискового робота и пользовательскими настройками, либо просто троллите.
Ежу понятно, что для того, чтобы учесть noindex, поисковому роботу нужно скачать документ
Не тролю, а напоминаю, что надо экономить т.н. 'краулинговый бюджет' в случае больших сайтов. И человечий бред различаю
В случае запрета в роботсе - индекса нет, контент не ищется, не путайте наличие в выдаче с индексом.
Глупости какие. Результат (даже тот, который вы указали) может быть только в результате индексации.
Если путаетесь с понятиями, в частности Яндекс напоминает,
и никаких других магических механизмов появления страниц сайта в индексе нет.
То, что вышеуказанный документ не ищется по контентному содержимому это ещё не значит, что он попал в индекс как-то иначе в обход общего механизма индексации. Здесь уже вы занимаетесь совершенно ненужным мифотворчеством.
В данном случае ситуация вполне конкретно разъясняется,
Ну а что они ответят, "менеджеры перешли на работу каперайторами, деньги зарабатывать надо"...
А чем ваш или мой копирайтинг на форуме принципиально отличается от их?
Правильно, регламентированной ответственностью написанного. Однако если написанное в справке вызывает недопонимание, то возможно они найдут для вас более убедительные объяснения. Полагаю в общении с ними у вас будет хватать такта не упоминать сказочные мотивы.
Хватит вам путаницы про сканирование/индексирование, а то из этого возникает ну такой человеческий опыт...
Путаницу, простите, вносите вы, задавая наводящие вопросы из неправильно понятых рассуждений.
напоминаю, что надо экономить т.н. 'краулинговый бюджет' в случае больших сайтов. И человечий бред различаю
Про бред - опустим, препирательство неинтересно, а экономию краулингового бюджета, если уж на то пошло вы совершенно не раскрыли в том объёме, в котором требует данный вопрос.
Принципиально я от настройки запретов в robots.txt не отговариваю - здесь у меня с вами никаких острых противоречий нет, но это далеко не всё, что необходимо рассматривать в вопросе про экономию краулинга бюджета. Впрочем, это уже совсем другая тема.
Результат (даже тот, который вы указали) может быть только в результате индексации
Нет, это по тексту ссылки. Индексации нету. И на этом форуме давно было показано "есть в выдаче, нет в индексе" и наоборот. В любом случае это не повод забивать на роботс.тхт по надуманным причинам.
То, что вышеуказанный документ не ищется по контентному содержимому это ещё не значит, что он попал в индекс как-то иначе в обход общего механизма индексации
Он не попал в индекс.
А хелпы умершей конторы - и ворошить поздновато, в них не описание действительности, а пропаганда.
А чем ваш или мой копирайтинг на форуме принципиально отличается от их?
Оба вводят в заблуждение. У писателей хелпов - работа такая, а вам бы прикрыться словом 'опыт'...
Нет, это по тексту ссылки. Индексации нету. И на этом форуме давно было показано "есть в выдаче, нет в индексе" и наоборот.
Ещё раз. Нет иного механизма сохранения страниц в индексе, кроме индексирования. Хоть целиком, хоть частью, хоть одним адресом. Спорить просто глупо, выдержки я вам привел выше.
У меня у самого есть такие примеры на рабочих сайтах и там фиксируется даже не текст ссылки, а просто адреса. Так что это не более, чем частный случай индексации.
Как ни крути - это самостоятельный элемент в индексной базе и плодить такие страницы в индексе точно не стоит.
Потому что выглядеть это будет вот так,
Он не попал в индекс.
У частного случая индексации страницы есть конкретная причина,
а вам бы прикрыться словом 'опыт'...
Мне прикрываться нет никакой надобности, я вам чётко и конкретно даю указания на справки, чтобы вы не изобретали новые смыслы и понятия тем процессам которые описаны и без моего опыта. Не говоря о том, что к вашему опыту в отсутствие каких-либо рабочих пруфов стоит отнестись как минимум с критической осторожностью.