- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Привет уважаемые коллеги!
Помогите разобраться с вопросом нужности директив в файле роботс.тхт
Я был уверен, что гугл его игнорит и рекомендует для запрета использовать тег, и это написано чёрным по белому:
Меня тут ткнули носом и я призадумался.
Если рассудить логически, то для просмотра тега боту нужно зайти на страницу, а значит расходуется ботовский бюджет.
Понятно, что часть ссылок можно безболезненно удалить, но есть такие которые важны для юзабилити и бесполезны для ботов. Как пример. всякие страницы ответа на комменты и им подобным
Как быть? Может есть кейсы по этому вопросу?
Если рассудить логически, то для просмотра тега боту нужно зайти на страницу, а значит расходуется ботовский бюджет.
По опыту, страницы noindex индексируются очень редко, поэтому они хоть и используют бюджет, но незначительно. К примеру, у меня пагинация закрыта noindex, робот видит полноту категории, сканирует ее и учитывает. Обычные страницы посещает ежедневно, там где noindex - 1 раз в 6-20 дней. Если закрыть роботом, то полноту категории робот не увидит.
По опыту, страницы noindex индексируются очень редко, поэтому они хоть и используют бюджет, но незначительно. К примеру, у меня пагинация закрыта noindex, робот видит полноту категории, сканирует ее и учитывает. Обычные страницы посещает ежедневно, там где noindex - 1 раз в 6-20 дней. Если закрыть роботом, то полноту категории робот не увидит.
А как быть с коментами. т.е. есть страница (site.ru/page) на ней 50 коменнтов, и у каждого ссылка "Ответить на этот коммент" (site.ru/page/comment1, site.ru/page/comment2 и т.д). Есть смысл закрывать в роботсе /comment* или использовать теги?
А как быть с коментами. т.е. есть страница (site.ru/page) на ней 50 коменнтов, и у каждого ссылка "Ответить на этот коммент" (site.ru/page/comment1, site.ru/page/comment2 и т.д). Есть смысл закрывать в роботсе /comment* или использовать теги?
Для упомянутой выше полноты картины сайта ссылка "ответить на коммент" не важна. лично я такое закрываю в robots.txt, наряду со страницами поиска и прочим
А как быть с коментами. т.е. есть страница (site.ru/page) на ней 50 коменнтов, и у каждого ссылка "Ответить на этот коммент" (site.ru/page/comment1, site.ru/page/comment2 и т.д). Есть смысл закрывать в роботсе /comment* или использовать теги?
страницы комментов - однозначно закрываю в роботах , т. к они не несут вообще никакой ценности
страницы комментов - однозначно закрываю в роботах , т. к они не несут вообще никакой ценности
так гугл ругается, говорит открой, ведь я всё равно проиндексировал. Рекомендует использовать тег, а не файл.
так гугл ругается, говорит открой, ведь я всё равно проиндексировал. Рекомендует использовать тег, а не файл.
Видимо, вы закрыли эти страницы в роботс уже после индексации. На форумах гугла говорят, что ничего страшного в "Indexed, though blocked by robots.txt" нет - это стандартное предупреждение, чтобы вы проверили, не случайно ли страница оказалась закрытой в роботс.
так гугл ругается, говорит открой, ведь я всё равно проиндексировал. Рекомендует использовать тег, а не файл.
А почему бы не использовать и то, и другое одновременно?
А почему бы не использовать и то, и другое одновременно?
Вроде как одновременно не выйдет. Т.е. если гугл проиндексирует страницу, а потом её закрыть в роботс, то она будет болтаться как г, в проруби.
---------- Добавлено 16.02.2020 в 20:45 ----------
Видимо, вы закрыли эти страницы в роботс уже после индексации. На форумах гугла говорят, что ничего страшного в "Indexed, though blocked by robots.txt" нет - это стандартное предупреждение, чтобы вы проверили, не случайно ли страница оказалась закрытой в роботс.
именно так и было.
открыть в роботсе, он их проиндексирует с ноуиндекс, затем закрыть в роботсе.
открыть в роботсе, он их проиндексирует с ноуиндекс, затем закрыть в роботсе.
Потом он опять их заново проиндексирует. Было уже такое. Но за совет спасибо.