- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
А у вас трафик только с Яндекса? Я вот тут тоже читаю и не могу понять, как у большинства трафик в основном Яндекса, как вы это делаете? У меня все сайты в основном из Google, что я не так делаю, в чем секрет?
Если у вас сайт на русском языке и ориентирован на постсовок, то трафик из Яндекса всегда будет выше чем из гугла. Если наоборот, то это говорит о том, что с сайтом (или самим Яндексом) есть определенные проблемы. Исключения встречаются (как в некоторых тематиках, так и при целенаправленной раскрутке под алгоритмы Гугла), но в целом, это практически аксиома.
Такая ситуация, с 15го мая (новая версия яндекс браузера) вроде бы всё начало оживать и налаживается, с 22 мая опять пошли просадки. Смотрю 22 мая вышла новая версия браузера)) полез в вебмастера, батюшки а там чудеса, теперь робот 🤖 яндекса впервые перестал видеть фавикон сайта, естественно никаких изменений с моей стороны не было. Совпадение? Не думаю))) у кого нибудь похожее наблюдается?)
Тоже 22-го появилось уведомление в вебмастера, что робот не видит фавикон. Отправил на переобход главную страницу, сегодня уведомление пропало.
Уже подобные глюки не удивляют, однажды прилетало уведомление, что сайт отдаëт неверно код ответа 404, хотя это не так (техподдержка подтвердила, что уведомление появилось по ошибке). В другой раз, вдруг, почему то признало главным зеркалом версию без https, тоже быстро исправили после обращения в техподдержку и тоже сказали, что "произошла ошибка". Но эти 2 случая были летом 2022. А прошлым летом постоянно "терял" robots.txt (щас не вспомню как проблема решилась).
Запретил ботам ИИ Яши бродить по сайту и брать информацию для обучения, в частности таким как GPTBot и ChatGPT-User
можете сбросить код?
можете сбросить код?
Все просто. В robots.txt добавьте
Общаюсь с товарищами, некоторые еще дополнительно прописывают так
некоторые еще дополнительно прописывают так
User-Agent: YandexAdditional
Disallow: /
User-Agent: PerplexityBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: ChatGenie
Disallow: /
User-agent: Jasper.ai
Disallow: /
User-agent: AnthropicBot
Disallow: /
User-agent: anthropic-ai
Disallow: /
User-agent: Claude
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Claude-Web
Disallow: /
Disallow: /
User-agent: Amazonbot
Disallow: /
User-agent: OmgiliBot
Disallow: /
User-Agent: omgili
Disallow: /
User-agent: cohere-ai
Disallow: /
User-agent: ia_archiver
Disallow: /
Платон #:
Все просто. В robots.txt добавьте
Когда правила научитесь читать? Ну или хотя бы темы на серче отслеживать??
Это пример запрета индексации, которое например Яндекс может не выполнять
И тем более правило robots не запрещает ботам чтение и дальнейшее использование в ИИ
Для запрета используется htaccess, с ответом сервера 403 или 404 для этих ботов
Когда правила научитесь читать? Ну или хотя бы темы на серче отслеживать??
Это пример запрета индексации, которое например Яндекс может не выполнять
И тем более правило robots не запрещает ботам чтение и дальнейшее использование в ИИ
Для запрета используется htaccess, с ответом сервера 403 или 404 для этих ботов
Файл robots.txt не предназначен для управления индексированием сайта. Он нужен для настроек сканирования. О чем и шла речь! Если рассматривать вариант блокировки ботов, то да прописываем безусловно в htaccess
А если копнуть глобально, то тема данной ветки форума, насколько я понял, это помощь друг другу в решении проблемы, а не в императивных нормах толкования команд и директив. Или я не прав?
Если Вы решили, сказать А, тогда говорите и Б, присутствующим, чтобы они прописали это в htaccess!
Хотя, если кому нужен запрет для htaccess, могу прислать, если Владимир не проявит действительно разумную инициативу, кроме как поучений
Платон #:
Хотя, если кому нужен запрет для htaccess, могу прислать, если Владимир не проявит действительно разумную инициативу, кроме как поучений
Лучше заведите отдельную ветку и там выкладывайте варианты блокировок этих ботов в .htaccess и то же правило для Nginx.
Там же и обсуждать можно будет.
Наверняка будут появляться новые боты, которых надо будет отслеживать. Там люди смогут делиться интересностями из недр логов своих сайтов и все мы оперативно сможем блочить эту нечисть.