arroman

Ага конкурент...чат который позволяет логиниться через Google буквально в момент запуска, уж очень легко интегрируется с хромом и много чего другого...это прямой намек что OpenAI и Google являются собственностью одних и тех же акционеров

Вики не генерирует уникальный контент в виде форумов откуда ИИ берет большую части информации 

Долго думал над ответом ?

Проснись, ИИ без контента который генерируют люди БЕСПОЛЕЗЕН, пока будут существовать новостные сайты, форумы, ИИ сможет отвечать, без этого он ничто

Если это будет общий бот и тот который индексирует страницы это считай смерть сайту 

Это что хостинг так экономит ресурсы своих серверов запрещая боты поисковиков в ущерб сайта клиента ?

речь идет о товарах и категориях которые нужны в поиске 

Итак в гугл вебмастере начала светиться ошибка что страницы не индексируются изза robotx txt

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=common/
Disallow: /*route=product/compare
Disallow: /*route=product/search

Disallow: /catalog/controller
Disallow: /catalog/language
Disallow: /catalog/model
Disallow: /download
Disallow: /system
Disallow: /search
Disallow: */storage/
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*&tag=*
Disallow: /*?tag=*
Allow: *.css
Allow: *.js
Allow: *.jpg
Allow: *.jpeg
Allow: *.gif
Allow: *.png
Allow: *.svg
Allow: *.webp
Allow: *.ttf
Allow: *.woff
Allow: *.woff2

Можете пояснить пожалуйста какая строка запрещает индексации ?

сразу видно - ответ иксперда 

Значит нужно обратиться к хостингу ?