- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Вот этими тисками в Россию выдавило один их первых Cybertruck
Бред всё это конечно… Но если вдруг даже… Думаю, такие крупные хостинги, как Timeweb, придумают, что с этим делать… Ну, например, сделают что-то типа копии Таймвеба, которая будет располагаться полностью за границей (и сервера все не наши естественно будут) и перенесут туда по нашему согласию наши сайты… как вариант =)
не теште себя бредовыми надеждами
этот таймвеб до сир пор не может отправку почты на протон сделать и блочит коннекты с ресурсами из реестра ркн
поддержка шлет лесом типа такой закон запрет от ркн и типа не их проблема
когда ркн внесет гугл в реестр хостеры у которых есть юрлица рф не будут нарушать закон рф и будут его блочить
если нужен траф от гугла и других нероссийских поисковиков то хостинги домены из рф нужно срочно переносить
“Ъ” ознакомился с письмом, направленным Центром управления связью общего пользования (ЦМУ ССОП) Роскомнадзора компаниям из реестра провайдеров хостинга в конце апреля. Письмо содержит рекомендации по настройке ограничений доступа поисковых ботов к информации на российских сайтах. Собеседник “Ъ” на рынке интернет-провайдеров объясняет, что речь идет об иностранных ботах, в том числе поисковых сервисов Google (Googlebot) или GPTBot компании OpenAI, Apple Bot компании Apple и др.
пока это рекоммендация но скоро станет обязательной и ркн всех российских хостеров легко заставит ее исполнять
хотят изолировать рунет от мирового интернета и иностранных поисковиков. все потому что отжали яндекс и хотят сделать его монополистом
пока это рекоммендация но скоро станет обязательной и ркн всех российских хостеров легко заставит ее исполнять
Это не рекомендация. Это выдернутое журналистами ради хайпа мнение какого-то собеседника о том, что в списке ботов есть ИИ бот Гугла. О блокировке поисковых ботов Гугла там и рядом не стояло. Мнение собеседника основано на том, что в этом эксперименте Гугла пока что нет возможности как-то отключить этого бота, и в целом запрет на его использование в роботс ни разу не приводит к тому, что поисковик перестает использовать контент сайта для обучения своего ИИ.
А сам список - это список ботов какого-то чувака из ЮАР с Гитхаб.
Развели флуда на 12 страниц.
Токен Google-Extended для файла robots.txt указывает сканерам Google включить сайт в поиск, но не разрешает использовать сайт для обучения системам ИИ, подобным тем, которые лежат в основе чат-бота Bard и Vertex AI, в том числе и для будущих поколений ИИ-моделей компании.когда в 12 году создали реестр ркн. по всем форумам тоже примебали проплаченные комментаторы которые успокаивали людей что блокировать будут только информацию о наркотиках и способах самоубийств чтобы оградить детей и ничего кроме.
а теперь заблокировано сайтов полинтернета. больше чем в китае, иранеб судане и саудовской аравии вместе взятых. хуже только в туркменистане и северной корее.
в письме написано о блокировке иностранных поисковых ботов. никаких исключений для бота гугла там нет. не надо врать.
В списке РКН на блокировку, который из письма разосланного Центром управления связью общего пользования Роскомнадзора российским хостерам, есть краулер Google-Extended. Его невозможно заблокировать по user-agent или ip-адресам без блокировки других ботов гугла, т.к. он ходит с юзер-агентом стандартного краулера и с тех же ip-адресов. Точнее это один и тот же краулер!
Если заблокируют его по юзер-агенту или по подсетям гугла то заблокируют и индексацию сайта. Может быть росхостеры дополнительно реализуют подмену указанного клиентами robots.txt, но о таком методе в письме не упоминается да и сложно это, прозе все заблокировать на более высоком уровне. Заодно и редомицилированный Яндекс полностью избиватся от конкурента в лице Гугла. Не исключено что ради этого все и затеяли.
https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers
Да и обоснование необходимости этого в стиле "чтобы данные о российских сайтах не утекали во вражеские страны" как бы намекает что никто не будет разбираться в таких тонкостях и заблокируют все что можно заблокировать. Это очень даже в русле "Суверенного Чебурнета" закон о котором принят уже давно.
Самое печальное, что реально вредоносные боты ходят под юзер-агентами легитимных браузеров и заблокировать их таким способом не получится. Да и по ip-адресам стоящих за ними компаний тоже.
Поэтому во второе обоснование "Ограничение доступа иностранных ботов к российским сайтам, согласно пояснению из письма ЦМУ ССОП, необходимо для исключения сбора данных о критических уязвимостях российских ресурсов, индексировании данных россиян и анализа собранной информации" может поверить только обыватель без мозга.
Условные боты ЦРУ и Госдепа (которые поимимо поиска уязвимостей спят и видят как бы спарсить драгоценные знания из Дзена, Пикабу и Ответов Мэйл.Ру) вряд ли будут это делать под юзер-агентами "CIA-crawler" и "gosdep-bot" из подсетей дата-центра АНБ.
Не исключено, что цель нововведения не только в дальнейшей изоляции Рунета, а хотят зачистить рынок ГосЯндексу от конкурентов, чтобы ухудшить им качество поиска.
Ограничение доступа необходимо, чтобы иностранные компании не смогли собирать данные о критических уязвимостях российских ресурсов.
Предложение школоты который не знаком с инетом.
Так трудно всем перечисленным поменять, дополнить IP?
Чтобы это выполнить, необходимо забанить весь буржунет.
Вывод: Те кто перенесет хостинг ( есть уже перенесли🤣) будут забанены
Поздравляю! Началось...
Хостинг hoster.ru и hts.ru (технически ОДНА организация см. контакты)
Замена ваших файлов robots.txt на "правильные" при обращении поискового бота Google
В "правильных" файлах robots.txt теперь запрет всего сайта для индексации:
Вот что видит Google бот вместо родного файла на хостинге:
User-Agent: Yandex
Disallow: /
Host: www.hts.ru
User-Agent: Googlebot
Disallow: /
User-Agent: *
Disallow: /
Сайты быстро накапливаю ошибки индексации в Google Search Console///
Усердные админы и в Яндексе сайт до кучи забанили 😊, чтоб Google боту не обидно было
Host: www.hts.ru
А с чего взяли что это на хостинге у сайтов, возможно только хостинг такое захотел сделать себе? Или на сайтах тоже самое?
А с чего взяли что это на хостинге у сайтов, возможно только хостинг такое захотел сделать себе? Или на сайтах тоже самое?
Вот, уже тема есть: https://searchengines.guru/ru/forum/1098825