- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу

Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева

VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
В каком месте в теме, что Гугл игнорирует роботс? Не замечал на практике
Читать научитесь...внимательно
https://searchengines.guru/ru/forum/1070455/page4#comment_16852301
В моих цитатах ни слова про сервер. Странная у Вас "логика".
Будет, еще как будет.
Ладно, будет. Соглашусь. Но страница всё равно может быть проиндексирована. Поскольку директивы файла роботс не запрещают индексирование.
Так это у вас гугл умудряется страницы в индекс забирать без их сканирования ) Не у меня.
И у меня, и у вас, и у всех остальных. И в отличие от Вас, я опираюсь не только на свой личный опыт, но и опираюсь на опыт других людей, и, самое главное, на официальную документацию Гугла:
https://developers.google.com/search/docs/crawling-indexing/robots/intro
Google не будет напрямую сканировать и индексировать контент, который заблокирован в файле robots.txt. Однако если на такой URL ссылаются другие сайты, то он все равно может быть найден и добавлен в индекс. После этого страница может появиться в результатах поиска (во многих случаях вместе с текстом ссылки, которая на нее ведет). Если вас это не устраивает, рекомендуем защитить файлы на сервере паролем или использовать директиву noindex в метатеге или HTTP-заголовке ответа.
Ноуиндекс рулит.
Ладно, будет. Соглашусь. Но страница всё равно может быть проиндексирована. Поскольку директивы файла роботс не запрещают индексирование.
Ноуиндекс рулит.
Они сами себе противоречат. С одной стороны они не будут индексировать страницу и ее содержание, с другой стороны они допускают размещение ссылки в выдаче с чужим сниппетом и тайтлом (что логично, ведь они не проиндексируют содержимое напрямую). При этом, у этой страницы, очевидно, нет уже проиндексированного и доступного урл, который бы он вывел как положено.
Если бы эти правила не запрещали индексирование, то при попытке добавить в индекс запрещенную страницу мы бы не получали сообщение:
Во время проверки были обнаружены ошибки индексирования URL.
То есть, все же, директивы в роботс на практике запрещают индексирование, независимо от того, что у них написано в помощи. Я же написал выше, можете лично это проверить в консоли. И это будет не написанное в хелпе, а практическое применение. Я ориентируюсь именно на него, а не на теорию.
Но, пусть, согласен, я допускаю такую возможность с его стороны, хотя это один фиг вариант исключения, которое еще попробуй создай: ссылка, которая размещена на очень трастовых сайтах, чтобы повлиять на это решение, с соответствующим контентом на этих чужих сайтах и не имеющая доступного разрешенного урл к индексации содержания страницы.
Во всех остальных, заведомо распространенных случаях, везде используется роботс без каких-либо проблем с индексацией или запретом индексации ненужных страниц или сокрытия дублей. А ноиндекс - вещь хорошая, но на динамических страницах с разными урл и одним содержанием - не практична. Там, где вам вообще нужно исключить попадание страницы в индекс - пароль, как они советуют, или ноиндекс. В обсуждаемом же случае закрытия дублей в виде get параметров - редко применимо и только роботс, в таких ситуациях - главное решение. И никаких проблем с его использованием, ибо, если не считать описанного исключения - все работает как положено и без проблем. Конечно, если не ошибаться в составлении правил роботс.
Я же написал выше, можете лично это проверить в консоли. И это будет не написанное в хелпе, а практическое применение. Я ориентируюсь именно на него, а не на теорию.
При чём ту консоль? И зачем мне это проверять? Я это и так знаю. В консоли не тот контекст, это специальный инструмент для вебмастеров. Это практическое применение консоли, не более того. А индексирование ссылки с чужого сайта - это практика именно индексирования ссылки с чужого сайта, а никакая не теория.
ноиндекс - вещь хорошая, но на динамических страницах с разными урл и одним содержанием - не практична.
Чем это не практично? Очень даже практично.
В обсуждаемом же случае закрытия дублей в виде get параметров - редко применимо и только роботс, в таких ситуациях - главное решение.
Это всего лишь Ваше личное мнение, основанное на каком-то Вашем личном опыте. Лично я ставлю ноуиндекс и не парюсь, если мне надо надёжно запретить индексацию. Роботс - это для страниц, которые генерируются собственным сайтом и где контент предсказуем.
Это всего лишь Ваше личное мнение, основанное на каком-то Вашем личном опыте.
И опыте тех, кто с момента внедрения стандарта robots им пользуется, без малого 29 лет.
Но да, нет смысла дальше это обсуждать.
И опыте тех, кто с момента внедрения стандарта robots им пользуется, без малого 29 лет.
Но да, нет смысла дальше это обсуждать.
Так никто вас и не заставляет, если вам это ненужно, и в вашем вебмастере ничего лишнего нет.
Роботс - это для страниц, которые генерируются собственным сайтом и где контент предсказуем.
Именно эта фраза для него и непонятна))
Китайцам в базу попадет, тогда сразу поймет🤣
То есть, все же, директивы в роботс на практике запрещают индексирование, независимо от того, что у них написано в помощи. Я же написал выше, можете лично это проверить в консоли. И это будет не написанное в хелпе, а практическое применение. Я ориентируюсь именно на него, а не на теорию.
Допустим. А как тогда вы, опираясь на свою уверенность и логику, обоснуете вот такой практический случай ?
p.s. Заранее оговорюсь - мне в этом вопросе не нужна помощь или какие-либо рекомендации.
Пример и вопрос именно в контексте запрещения индексации в robots.txt