- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Доброго времени!
Подскажите плиз, после установки сайта на cms, файл роботс содержит в том числе и такие вот "нестандартные" строки, гугл не помог особо:
User-agent: Updownerbot
Disallow: /
User-agent: URLpulse
Disallow: /
User-agent: SEOkicks-Robot
Disallow: /
User-agent: URLmetrics
Disallow: /
Подскажите плиз что это за фигня, и стоит ли ее убирать?
Гран мерси!
Запрет индексирования конкретными роботами.
Запрет индексирования конкретными роботами.
Это понятно), вопрос - что за роботы?...нужные или спам?
Я бы сильно не парился по этому поводу :) нигде такое не практикую.
Я бы сильно не парился по этому поводу :) нигде такое не практикую.
т.е. вообще удалить эти записи?...меня собственно насторожило URLmetrics - вдруг полезная штука, хотя, с другой стороны яндекс.метрика в шаблоне сайта код стоит...поэтому скорей всего... это попахивает какой-то шпионской фигней сбора моей статистики)).... т.е. мб и оставил бы данный запрет
т.е. вообще удалить эти записи?...меня собственно насторожило URLmetrics - вдруг полезная штука, хотя, с другой стороны яндекс.метрика в шаблоне сайта код стоит...поэтому скорей всего... это попахивает какой-то шпионской фигней сбора моей статистики)).... т.е. мб и оставил бы данный запрет
Я бы удалил и всё. Все это ни к чему :) Статистика все равно доступна только Вам в Метрике и собирается она не через "робота-обходчика".
В гугле ответов нет да?
меня собственно насторожило URLmetrics - вдруг полезная штука, хотя, с другой стороны яндекс.метрика в шаблоне сайта код стоит...поэтому скорей всего... это попахивает какой-то шпионской фигней сбора моей статистики))
Может быть и полезная, только вот для кого?
Роботам от систем, которые не дают трафика на ваш сайт - нечего делать на сайте.
И, роботы, которые собирают "шпионскую статистику" - не читают роботс.тхт, их приходится банить на уровне .htaccess, конфигурации web-сервера или движка сайта.