burunduk: совсем не так, найти новый контент на сайте с 10к+ страниц в режиме онлайн задача нерешаемая даже на теоретическом уровне
а боты гугл яша значит из будущего и полная фантастика? :)
burunduk: а в роботсе его вообще указывать не надо
еще как надо. Краулер это не игрушка. Потому и делегированы полномочия для сканирующего и собирающего ссылки. Есть наверно и другие части, но про них еще меньше инфы.
burunduk: хмл карту сайта вообще светить ни кому не стоит, назвали её как-нибудь, добавили ручками в вебмастерах и всё.
Ок. Только у мелочи денег нет,а те кто серьезно работает имеет софт, которому пофигу что парсить и сканировать.
Из интересного помнится задавал Моевой и Липатцеву вопрос: сайтмап в роботс и консоли. Какой из них бот берет или имеет на какой приоритет. Ответа не было :)
bandesign, у Вас на сам тип ругается не говоря уже о таблицах.
Если бы у меня был такой сайт, я бы нанял верстальщика и сделал валидацию.
Вот не знаю, может просто так "везет" на тех, с кем приходится общаться, но зацикленность на трафике видна сразу.
Везет. Привыкли дал в газету объявление и чем больше тем лучше :)
Выше Миш-ка довольно таки грамотно все рассказал. даже добавить нечего.
На данный момент настроен 301й редирект.
все ссылки сайта исправлены на нужную? В сайтмапе должна быть только конечная.
так без помощи (карта сайта) они новый контент найти не могут
по хлебным крошкам и прямыми проходами по сайту могут. точней как я понял из общения используются все доступные способы.
не надо - это лишняя сущность, которая только путает ботов
в этом вопросе, каждый остается при своем мнении :)
- Доктор у меня болит
- где?
- я не могу показать
- Значит Вам в морг на всякий случай :)
совсем не так, найти новый контент на сайте с 10к+ страниц в режиме онлайн задача нерешаемая даже на теоретическом уровне
а боты гугл яша значит из будущего и полная фантастика? :)
а в роботсе его вообще указывать не надо
еще как надо. Краулер это не игрушка. Потому и делегированы полномочия для сканирующего и собирающего ссылки. Есть наверно и другие части, но про них еще меньше инфы.
косвенно. Сканировать и парсить может с ошибками, даеж если код правильный.
хмл карту сайта вообще светить ни кому не стоит, назвали её как-нибудь, добавили ручками в вебмастерах и всё.
Ок. Только у мелочи денег нет,а те кто серьезно работает имеет софт, которому пофигу что парсить и сканировать.
Из интересного помнится задавал Моевой и Липатцеву вопрос: сайтмап в роботс и консоли. Какой из них бот берет или имеет на какой приоритет. Ответа не было :)
Какую "маркировку"?
В снипете Хз смотреть надо. а ниже это быстроссылки. они автоматически формируются.
Нормальный ресурс имеет структуру.
любой ресурс может содержать или поймать ошибки и лишний сигнал о той же структуре в карте, не лишний.
---------- Добавлено 28.10.2016 в 04:50 ----------
хмл лучше вообще не показывать юзерам и чужим ботам
А "наши" и "чужие" боты это какие? можно по фамилиям? :)