Для ИИ парсят сайты, в маил ру будет вкладка с продажей товаров. Всё основано будет на ИИ.
Мейл ру был и поиском гугла, и поиском яндекса, и ещё был их поиск.
До гугла и между гуглом и Яндексом был их собственный поиск, если не ошибаюсь.
И раньше мейл давал даже какой-то траф. Очень давно только это было.
Но по-моему у них там все закончилось, кроме поиска.
Я почему-то уверен, что их прокси кто-то уже приторговывает.
У меня нет-нет и rambler что-то хочет от сайта. Поиска что лет нет, там Яндекс.
Да Вы не нервничайте. Скажите прямо - "в саппорт не писал, обманы, подделки и прочую чухню выдумал". Мол, "мне так кажется".
Поиска нет. Почтовому сервису делать на сайте нечего.
Писать не нужно. Но если тебе надо, то напиши, дай им доступ к своим сайтам. 😁
Проще всего, конечно, написать на контактный емейл с просьбой разъяснить, что это за краулер и почему он так странно представляется. Вместо этого автор темы предпочитает вопли и домыслы.
У мейл ру больше нет поиска, поэтому это все левые боты и летят в бан.
Кто там и чего для кого собирает вообще не известно.
Если научатся нормально представляться, то и будет смысл думать нужно их пускать на сайт или нет.
Это датацентр, а не хостинг.
Это к тому, что оттуда людей можно ждать, а не ботов?
Беспонтовые понты получатся. Купить обувь за 120к рублей, чтобы понтануца в колхозе под Хабаровском? Это никто не поймёт.
Надо ведь понимать, когда эти вещи надо надевать и в каком обществе. Просто так гулять по улицам это глупо.
Ты не понял))) ТС хочет нравиться телкам и очень переживает о своем стильном луке. Вот он и собрался в Москву.
На патрики, красную площадь, арбат и т.п. москвичи не ходят. Там тусуют туристы и представители тинейджерских субкультур.
Ну, хочет он купить дешевый реквизит для фоточек для скот сетей. Что в этом плохого?)))
Почему фотки из дешевых отелей с луками на море или местной жратвой хуже фоток с патриков? Обычное показушничество. Все смотрите, где я был. Так сейчас весь мир живет)))
Из краев ТС’а недавно друг вернулся, отдыхали у родственников его жены. У них цены на местном базаре на шмотки дороже московских магазинов.
Сядет ТС в автобус или поезд, доедет, тусанет, тряпок закупит, может и на продажу. Где тут криминал?)))
Почему нельзя ходить по улице в провинции в цилиндре и фиолетовом замшевом пиджаке?)))
Очень крутой видос будет, если в новых белых баленсиагах топтать с брызгами коровьи лепехи. Точно что-то новое будет. 😁
Или еще не обновилось, можно посмотреть в ближайшие дни.
Есть и другие поисковики.
У него так бывает))) Давно.
И ничего с этим не сделаешь.
В европе "европейский" шмот из китая. или вьетнам, пакистан, бангладеш, турция.
Вчера к российскому дизайнеру шмота приезжал на день рожденья Канье Уэст. Этот шмот тоже шьется в китае, на одной фабрике с баленсиагой. или на соседней)))
Тоже стоит каких-то нереальных денег.
https://www.elemor.ru/muzhskaya-odezhda/gosha-rubchinskiy/
Я про такого вообще только вчера узнал, а у молодежи в тренде.
Дьявол в деталях. 389 позиций ни о чём, промышленный объём это миллионы, т.е. десятки запросов в секунду.
Парсить у них можно!!! Речь об этом была))
1 поток на 1 ip они дают парсить, а банят при большом количестве запросов.
Поэтому для промышленных объемов нужны промышленные мощности, т.е. много потоков и много прокси, и не ipv6 за 30 центов в месяц.
Но я понимаю, что хочется дешево и сердито, т.е. чтобы вы им сразу уронили все сервера.
Если ваша промышленность будет рентабельна при более дорогом парсинге с меньшими нагрузками, то они вам начнут кидать капчу, как это делают яндекс или гугл.
Тупо бизнес. Ваш парсинг требует много дополнительных серверов. А вот боты ПФ им совершенно пофиг. Позиции им не уронят, а просмотр одной страницы им погоды не делает.
Это сколько позиций?
В чатах парсеров больше всего жалуются именно на Озон. И на 2Гис.
Я его вырубил на 5%, 389 он на тот момент нашел.
Но если настроить, то он все соберет.
Со свистка мобильного в один поток, хотя можно и больше дать, я не пробовал. И с дефолтным юзер агентом. Мак и хром.
Платный cloudflare? Или ты про ScreamingFrog? Так прога по дефолту имеет много user agent, включая всяких яндекс и гугл ботов.
CloudFlare может и пропустить. Советую скачать прогу и посмотреть свои настройки. Прога не сложная.
