Или ты про ScreamingFrog?
Я про ScreamingFrog она в бесплатной версии в user agent добавляет название. Программа умеет в http 2 хотя бы? А так у меня информация узконаправленная, парсить особо нечего.
Точно нового?
Это они на сайте своего хостинга так пишут, можно увидеть если открыть.
юни #:М100 может быть просто брендом. Никаких указаний, что владелец является хостингом, нет.
Это у вас никаких указаний нет и причём постоянно. )) А у нас есть. 😃
Для умственного развития: LCC это компания с ограниченной ответственностью (Limited Liability Company), т.е. ООО M100.
Юзай платную версию.. Бесплатная определяется. 😉
На Ютубе есть видео, где на Патриках подходят к людям и спрашивают сколько стоит их шмот. Они говорят заоблачные суммы, но наверняка эта паль, и хрен докажешь. Но, выглядит красиво.
Хочу костюм от Louis Vuitton, где купить паль? Ну круто. Приезжаешь из Москвы к себе в Мухосранск и ты такой весь модный, красивый...
А потом, после таких вопросиков к продавцам BrandMonitor в штанину цепляется. 🤣
Не можешь, тебя КГБ уже проверило. На прокат пару машин б/у развалюх сдаёшь и всё и сайтик держишь по прокату без водителей. Это всё твои мечты..
Вангую: В почте mail.ru будет вкладка с товарами, будут помогать магазинам торговать товарами и деньги брать, для этого нужна информация по ценникам и информация для ИИ. 😀
А вот, что с хостинга сканируют, то пробуют заранее снять с себя претензии.
Вполне возможно, что парсят для своего ИИ или GptChat.
Но парсят с хостинга а это много значит. Причём ссылка в user agent бота (webmaster/indexing/robots) не открывается.
Бот заходит, чтобы взять описание страницы сайта, если постят в вк. Для кого-то это может быть критично)))
У мейла поиском стал Яндекс.
Тему создал, дело серьёзноё: https://searchengines.guru/ru/forum/1100941
Появятся боты накрутчиков и он опять спустится.. 😀
