- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Всем привет!
Собственно сабж, хочется понять отличие запрета в robots.txt от запрета индексации через метатег robots.
Т.е. запрет в robots.txt равнозначен noindex, follow или noindex, nofollow?
Во всех трех вариантах боты забивают на запрет, т.е. - по ссылкам ходят. Запрет в роботе, по факту запрещает только индексировать контент, сканировать (т.е. ползать по странице и ссылкам) не запрещает. Ноиндекс, фолоу - то же самое. Ноуиндекс, ноуфолоу, вроде как должен запрещать и сканирование, но игнорируется.
Слышал мнение, что нужно по возможности сократить количество заблокированного в robots.txt, т.к. сайт могут посещать не только роботы ПС, но и роботы всяких агрегаторов и проч.нечисть - они могут специально сканировать закрытые страницы в поисках уникального контента с целью разместить его у себя.
Как страшно жить...
Ноуиндекс, ноуфолоу, вроде как должен запрещать и сканирование, но игнорируется.
Пруф?
Не "вроде как должен", а запрещает.
Если что, ответ Платона:
"Если страница закрыта от индексирования в robots.txt, робот не посещает такую страницу и не скачивает ее содержимого, в том числе и ссылки."
Смотрю тема использования robots.txt будоражит не только мой мозг. )
У Гугла есть инструмент проверки удобства сайта для пользователей мобильных устройств. Проверял я там один сайт, где в роботс тхт закрыт каталог с темой сайта.
Так после анализа сайт на скрине (на стр анализа) отображается без стилей. Что это значит, что робот не может перейти в каталог темы и считать файлы стилей.
Но когда тестим, через PageSpeed Insights, то сайт на скрине отображается нормально, все стили читаются.
думайте товарищи, думайте
Более скажу, видел страницы в индексе Гугла, по которым шло ранжирование и которые были закрыты в роботсе. на них была крепкая ссылочная масса. Так что роботс не следует воспринимать никак иначе, кроме как "рекомендацию".
олее скажу, видел страницы в индексе Гугла, по которым шло ранжирование и которые были закрыты в роботсе. на них была крепкая ссылочная масса. Так что роботс не следует воспринимать никак иначе, кроме как "рекомендацию".
1. Страницы могли уже находиться в индексе, их закрыли в robots, но им нужно будет время, чтобы вылететь из индекса.
2. При обходе роботом сайта robots мог быть недоступен, составлен некорректно и робот обошел сайт без него.
Какой смысл поисковым системам придумывать инструменты для вебмастеров, а потом игнорировать их? Просто бы не давали бы возможности пользоваться таким функционалом как robots.
Да и тем более никто не будет закрывать в robots важные страницы сайта, которые могут генерировать траф, это чушь.
На каждом проекте используем robots и на каждом проекте он отрабатывает нормально. Я вам могу привести множество примеров адекватной работы этого файла, попробуйте привести хоть парочку с косячной работой...
Пруф?
Не "вроде как должен", а запрещает.
Дело в том, что у меня, например, страницы с переадресацией Китайцы прогнали по каталогам, сделав переадресацию на дорвей. И совсем скоро прилетел бан от Яндекса с пометкой "мобильный редирект на опасные страницы".
Ну да, могли по поведенческим определить. Мог не основной робот зайти, а какой-то дополнительный. Но факт в том, что глупо думать, что можно скрыть что-то от ПС обычным запретом в роботс. Нужно будет - проверят хоть даже вручную.
На каждом проекте используем robots и на каждом проекте он отрабатывает нормально. Я вам могу привести множество примеров адекватной работы этого файла, попробуйте привести хоть парочку с косячной работой...
Во-первых, не Яндексом единым. Во-вторых
Это и есть, последствие
запрещает только индексировать контент, сканировать (т.е. ползать по странице и ссылкам) не запрещает..
Или, если хотите так
Ну и третье, вопрос был не про индексацию страниц, и вывод их в поиск по контенту, а ползают ли ним боты, переходят ли по ссылкам. Понаблюдайте за логами на сервере, и вы убедитесь, что по этим страницам боты шуршат, ровно с той же активностью что и по любым другим.
Но ТС почему-то изменил вопрос :)
Это все из разряда гадания, мое мнение что ходят, но страницы не индексируются, для экономии ресурсов.
Кроме роботса пауку нужно еще думать о ловушках, так что если вы не удачно сделаете бесконечный генератор странц, то сайт может вообще никогда не загрузиться :D
Какой смысл поисковым системам придумывать инструменты для вебмастеров, а потом игнорировать их? Просто бы не давали бы возможности пользоваться таким функционалом как robots.
Да и тем более никто не будет закрывать в robots важные страницы сайта, которые могут генерировать траф, это чушь.
На каждом проекте используем robots и на каждом проекте он отрабатывает нормально. Я вам могу привести множество примеров адекватной работы этого файла, попробуйте привести хоть парочку с косячной работой...
Я вечером сюда вам вышлю пример такого роботс тхт, где главная стр. закрыта для бота, но сайт в топе