- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Уважаемые разработчики поисковых систем, думаю через форум с вами связаться проще чем через форму обратной связи, поэтому повторю свое предложение еще и тут. Разработчиков скриптов и оптимизаторов прошу также высказать свое мнение по данному предложению.
Очень часто перед разработчиками систем управления сайтом, форумов и т.п., а также перед всеми пользователями этих скриптов и оптимизаторами возникает проблема закрытия определенных (неинформационных) страниц от индексации (например, страницы выхода, регистрации, поиска, информации о пользователях и т.д.). Конечно же в некоторых случаях эту проблему можно решить через robots.txt, но далеко не всегда (например, если весь сайт или форум работает через 1 запускной файл).
Предложение заключается в следующем: Скрипт генерируя определенные страницы сайта кроме HTTP заголовка "Content-type: text/html" будет еще выводить заголовок для запрета индексации данной страницы (например, "X-Index: noindex"). Робот видя этот заголовок понимает, что ее индексировать не нужно. Даже не придется читать тело страницы. Конечно же можно пойти дальше... если 1 раз робот увидел такой заголовок то зайдет на страницу не раньше чем через 10 дней, потом через месяц, потом не чаще чем раз в 3 месяца (но это уже детали).
Таким образом выиграют все. Пользователи сайтов выиграют тем, что у них индексируются только контент страницы, тем самым снизится нагрузка на сервер, от которой выиграют хостеры, ну а поисковые системы выиграют тем, что их базы не будут засоряться бесполезной информацией с технических страниц.
Со временем все разработчики включат данный заголовок в свои скрипты, а продвинутые пользователи и ждать не будут этого, сами все сделают.
Для бесплатных же хостингов такой заголовок позволил бы избавиться от дорвейщиков. Кроме того индексировать новые сайты тоже не нужно, так как они пустые. Данная проблема бы решилась вводом подобного заголовка.
Не так давно гугл ввел rel="nofollow" и это оказалось очень полезным, а ввод такого заголовка позволит улучшать чистоту поиска и индексации со стороны разработчиков ПО для сайтов, оптимизаторов и владельцев сайтов. Да и robots.txt был не всегда, а теперь про него знают все и даже стандарты написаны.
Надеюсь, пришло время еще немного расширить возможности индексации, а также ее блокировки и данное предложение будет услышано...
Идея интересная, но скорее всего ей место тут /ru/forum/optimization-practices/search-technologies
Для бесплатных же хостингов такой заголовок позволил бы избавиться от дорвейщиков.
Как? Запретить к индексации все сайты на бесплатных хостингах? :)
3dn, ты админ юкоза, что ли?:)
на хостингах типа юкоз или малива, т.е., которые предоставляют предустановленные скрипты какое-то время или до определенной заполненности сайта выводить этот заголовок на всех динамических страницах, а все статические всегда будут иметь этот заголовок, поэтому дорвейщики вообще будут лишены возможности доры размещать. На хостингах типа народа тоже можно определенное время выводить этот заголовок, т.е. для новых сайтов, новый сайт это или нет можно проверять по дате создания физической папки пользователя... но можно придумать и другие варианты... важно чтобы такая возможность была, а потом она обрастет вариациями ее использования....
а сколько ненужных страниц можно было бы запрещать к индексации... ведь поисковые системы одну только страницу регистрации на форумах могут сотни+ раз проиндексировать, если там айди сессии передается, да еще и нестандартное имя имеет...
Данный заголовок так же необходим как и роботс.тхт, например если нужно закрыть 100 динамических страниц с разными именами или с одним запускным файлом и разными параметрами, то роботс.тхт тут не поможет...
это к теме не относится.
это к теме не относится.
Причем тут тема? Я просто спросил:)
Предложение заключается в следующем: Скрипт генерируя определенные страницы сайта кроме HTTP заголовка "Content-type: text/html" будет еще выводить заголовок для запрета индексации данной страницы (например, "X-Index: noindex").
А зачем так сложно, можно просто генерить ЧПУ и через robots.txt их закрыть.
Ведение нового заголовка проблематично, так как для этого потребуется объединить все интернет-сообщество, как в Росии так и зарубежом.
Для бесплатных же хостингов такой заголовок позволил бы избавиться от дорвейщиков. Кроме того индексировать новые сайты тоже не нужно, так как они пустые. Данная проблема бы решилась вводом подобного заголовка.
Если бесплатные хостинги будут выдавать такие заголовки для всех сайтов сидящих на этом хостинге, то это будет хорошо так как меньше будет мусора в серпе. Только одна заковырка... найдите такого бесплатного хостера, который будет всех причесывать под одну гребенку. Он же лешится нормальных пользователей, остануться только странички на тему "Мой кот и я" на который ходит только автор :)
может вы не знаете но ЧПУ не всегда подходят и если мне нужно закрыть 50 страниц то что их все описать в роботс? а если их больше чем 50? Кроме того смешно звучат ваши слова... добавить 1 строку в заголовок куда проще, чем делать ЧПУ..... но это уже техническая сторона вопроса... явно она вам не близка.
есть несколько основных поисковых систем, на них будут равняться более мелкие, если каждая из этих систем введет свой заголовок, то это ничуть не усложнит жизнь разработчикам, что 1 заголовок прописать что 5.... Но, конечно же желательно все сделать одинаково. И для этого не нужно никакого сообщества, нужно только 1 условие добавить при проверке страниц ботом....
Если уж на то пошло, то есть мета тег "robots: noindex,nofollow", можно для заголовков тоже самое сделать и никаких сообществ не нужно... вы сами придумываете проблемы из ничего...
сразу видно, что вы "большой знаток" того, что говорите.... да и не важно как хостеры будут поступать, это уже зависит от них, важно чтобы такая возможность была... А на хосте, который будет забоится о чистоте индексации и о своих крупных пользователях будут как раз и развиваться хорошие сайты а не заброшенные странички про кота.
Пожалуйста, давайте без споров, вы уже сказали свое мнение, оно принято... пусть другие выскажутся по этой теме....
если просто спросил, то, да...
Так на бесплатных хостингах страницы и так модифицируются, но ни у одного хостера не возникло желания дор-страницы (или пустые сайты) закрыть тегом <noindex>, почему им будет дело до заголовков?
Ведь решение надо принимать на основании просмотра сайта (ручная работа) - кому это надо?
А скрипты для техстраниц тоже могут <noindex> генерить хоть сейчас - функционал поменьше, но цель будет достигаться.
Если уж на то пошло, то есть мета тег "robots: noindex,nofollow", можно для заголовков тоже самое сделать и никаких сообществ не нужно... вы сами придумываете проблемы из ничего...
Тогда какой смысл в новом заголовке? Вы решили сэкономить на трафие для поисковых систем, чтобы они закачивали только заголовки :)
сразу видно, что вы "большой знаток" того, что говорите.... да и не важно как хостеры будут поступать, это уже зависит от них, важно чтобы такая возможность была
я не скрываю, что я не гуру в программировании так как свой сайт делаю для себя, но как человек, который постоянно работает с клиентами, я могу с увереностью сказать: не будет хостер пользоваться успехом, если вводить принудительные заголовки.
Так как избавление от дорвеев:
Для бесплатных же хостингов такой заголовок позволил бы избавиться от дорвейщиков. Кроме того индексировать новые сайты тоже не нужно, так как они пустые. Данная проблема бы решилась вводом подобного заголовка.
возможно только если ввести такие заголовки принудительно.