- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Речь идет о сайтах-компараторах (где есть много вариантов выбора, а значит множество внутренних ссылок идущих с главной). Например www.pricegrabber.com и т.д.
Как ведут себя роботы, которые индексируют страницы сайта?
Они начинают брать первую ссылку с первой страницы, и идти вглубь сайта, до конца, или же они начинают хватать все ссылки идущие с главной страницы. Потом соответственно, на второй странице берут все ссылки. Если так, то как они действуют дальше?
Надеюсь вопрос понятен...
Еще есть вопрос, до скольки, стоит ограничивать количество внутренних ссылок с главной для такого рода сайтов.
Если есть где почитать, поделитесь пожалуйста информацией.
Заранее благодарен!
Незнаю, как ходят боты в общем случае... , я когда писал своего бота - брал первую ссылку и шел вглубь сайта, потом первую со внутреней, и т.д., ограничивая при этом глубину рекурсии. Так проще в реализации. Ну это так, для статистики, возможно большинство ботов по другому себя ведет.
~ послойно: 1-2-3-4-5.. уровни
Хм... Тогда получается, что пока бот проиндексит 1й слой, а потом перейдет на второй уровень вложенности, то до 3го он дойдет не так скоро?
Методы помощи роботу: Уменьшение количества ссылок на главной, sitemap.xml, сквозные ссылки с других сайтов?
Поправьте, если я не прав.
Спасибо за помощь.
Наверняка, каким-то образом, ссылкам раздаются приоритеты (по множественным факторам). Затем обход сайта осуществляется в соответствии с этими приоритетами с одновременной их коррекцией.