- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Так что же получается, robots.txt это чушь собачья?
Так что же получается, robots.txt это чушь собачья?
Уже давно так.
Так что же получается, robots.txt это чушь собачья?
Получается, что вы просто об этом не знали.
И что интересно он пишет, что это моя проблема что он проиндексировал то, что ему не следовало
А это и не проблема, это информирование о состоянии.
И что интересно он пишет, что это моя проблема что он проиндексировал то, что ему не следовало
Так что же получается, robots.txt это чушь собачья?
По правилу хорошего тона нужно следовать правилам в robots.txt
не следовать, а абсолютно выполнять...
голосуем?
то тут то там в новостях проскальзывает... что индексирующие роботы ИИ выдают лицензированную или иную закрытую информацию... ключи к Виндоус , номера банковских карт и Бог знает еще что... на мой взгляд это в том числе потому что владельцы сайтов запрещают индексировать какой то контент через роботс тхт. а краулеры все равно парсят закрытые так разделы.. конечно, если утечка коммерческих данных происходит.. то как говорится "сам дурак"... надо закрывать разделы паролем или иными апач директивами .htaccess ... но все равно.. странно... что ПС суют в индекс то, что не хотелось бы ... указав в роботс тхт...
не следовать, а абсолютно выполнять...
голосуем?
то тут то там в новостях проскальзывает... что индексирующие роботы ИИ выдают лицензированную или иную закрытую информацию... ключи к Виндоус , номера банковских карт и Бог знает еще что... на мой взгляд это в том числе потому что владельцы сайтов запрещают индексировать какой то контент через роботс тхт. а краулеры все равно парсят закрытые так разделы.. конечно, если утечка коммерческих данных происходит.. то как говорится "сам дурак"... надо закрывать разделы паролем или иными апач директивами .htaccess ... но все равно.. странно... что ПС суют в индекс то, что не хотелось бы ... указав в роботс тхт...