Индексация результатов поиска товаров

M
На сайте с 31.10.2009
Offline
107
358

Не могу понять как боты индексируют результаты поиска товаров.

Пример: есть запрос, в топе эта страница небезызвестного сайта. И так по ооочень многим запросам. Как мне видится это именно поиск. Т.к. в структуре этих страниц не встречал.

Видно что работает скрипт price.aspx с параметрами, а как его результаты хавают боты?

Есть такая конструкция

<Url type="text/html" template="http://сайт/price.aspx?pcode={searchTerms}&from=os"/>

Но ищет она по номерам. Не по словам (пробовал - не переходит на страницу товара). В роботсе только для яндекса открыт скрипт allow: /price.aspx. Подсказали может это вообще не поиск. Тогда что, карта сайта?

Есть у них карта сайта http://www.***.ru/sitemap.axd (осторожно, большая!). И все же там нет страниц типа ...price.aspx?pcode={номер}.

Возможно они определяют бот яши и подсовывают др. карту??? Какие еще варианты скормить страницы? Причем настолько удачно..

M
На сайте с 31.10.2009
Offline
107
#1

😒 я можт не так разъяснил?? что непонятно спросите. По-прежнему актуально.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий