- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Если я роботу Яндекса запрещу индексацию страниц второго уровня, он будет индексировать страницы третьего уровня, при условии, что ссылки на страницы третьего уровня идут со страниц второго уровня?
Хочу для ДЛЕ закрыть индексацию страниц типа /page/x/
Т.е. страница второго уровня site.ru/page/
страница третьего уровня site.ru/infoshka.html
Ссылка идет со страницы site.ru/page/ на site.ru/infoshka.html и стоит правило disallow: */page/
Меня волнует вопрос будет ли робот заходить на заблокированную страницу и переходить по ссылкам с заблокированной страницы на незаблокированные и соответственно индексить их? Понятно, что саму заблокированную он индексить не будет.
сорри, потерто, недопонял вопрос
потёрто 100500
http://webmaster.yandex.ua/ там прочерить робот, указуй сайт, скачивай робот, внизу вставь адреса которые интересны для индексации... если написано разрешон, значит проиндексирует.
http://webmaster.yandex.ua/ там прочерить робот, указуй сайт, скачивай робот, внизу вставь адреса которые интересны для индексации... если написано разрешон, значит проиндексирует.
маразм. и так понятно что в урле site.ru/infoshka.html нет слова page и он покажет, что проиндексит.
_alk0g0lik_, я так полагаю, Вам нужно скрыть от индексации страницы пагинации, но в то же время, разрешить индексироваться всему контенту? если так, то у меня закрыты все /page/ в роботсе, но яндекс тем не менее схавал все страницы - через sitemap.xml и рсс-ку, так что за это не переживайте.
---------- Добавлено 17.06.2012 в 15:29 ----------
Если хотите наверняка, можете в метатегах страниц вида /page/ указать что-то вроде такого:
_alk0g0lik_, я так полагаю, Вам нужно скрыть от индексации страницы пагинации, но в то же время, разрешить индексироваться всему контенту? если так, то у меня закрыты все /page/ в роботсе, но яндекс тем не менее схавал все страницы - через sitemap.xml и рсс-ку, так что за это не переживайте.
ну это да, но если я за раз добавлю 1000 статей, то он может далеко не все схавать так как бОльшая часть ссылок пойдет именно с этих страниц. И вот тут-то и заковыка.
Если хотите наверняка, можете в метатегах страниц вида /page/ указать что-то вроде такого:
Это геморр, для ДЛЕ нет отдельного шаблона для этих страниц, а ковырять код я не хочу, люблю работать с оригинальными дистрибутивами.
Меня волнует вопрос будет ли робот заходить на заблокированную страницу и переходить по ссылкам с заблокированной страницы на незаблокированные и соответственно индексить их? Понятно, что саму заблокированную он индексить не будет.
Осюда. Там ещё много чего интересного.
В Яндексе с этим дела получше, все страницы, закрытые через роботс, НЕ попадают в основной индекс Яндекса, однако роботом просматриваются и загружаются, это наглядно видно в панели вебмастера, где, например, можно наблюдать такое: Загружено роботом — 178046 / Страниц в поиске — 72437. Разумеется, причина такого расхождения аж в 100к страниц не полностью следствие запрещения страниц через robots.txt, здесь есть и 404 ошибки, например, и другие неполадки сайта, которые могут случаться по различным причинам.
Для Яндекса robots.txt запрещает индексацию (в данном случае под этим словом подразумеваем отображение в результатах поиска) закрытых страницы, но не запрещает их загрузку роботами. Такие страницы видны только владельцу сайта в панели вебмастера в разделе «Исключенные страницы».
Для Google robots.txt частично запрещает индексацию страниц, робот их загружает и может отображать в дополнительном индексе, закрытые страницы не отображаются в основном индексе, но все они доступны при изучении дополнительной выдачи (supplemental). Насколько это плохо или хорошо — не известно — в мануалах Гугла такой информации не нашлось. Надеюсь, что это никак не влияет на ранжирование в плохую сторону.
Осюда. Там ещё много чего интересного.
Ага, осталось только понять насколько товарищ Алаев разбирается в вопросах SEO.
_alk0g0lik_, а в чем собственно вопрос? Страницы ведь открыты для индексации. Даже если нет никаких ссылок на них, они могут попасть в индекс (бар и прочее), но этот процесс будет бодрее если ссылки будут присутствовать.
но этот процесс будет бодрее если ссылки будут присутствовать.
Ну вопрос попадания в индекс для меня крайне важный.