- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта
Применяем отклонение ссылок
Сервис Rookee
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Че-то запутался совсем. Нужно чтобы индексировали только Yandex, Google, Rambler - остальные поисковики лишние.
Такой вариант правильный?
User-agent: *
Disallow: /
User-agent: Yandex
Disallow:
Host: www.site.ru
User-agent: googlebot
Disallow:
User-agent: StackRambler
Disallow:
Я бы для всех ботов (*) секцию сделал бы последней ...
Я бы для всех ботов (*) секцию сделал бы последней ...
Спасибо, именно с первой секцией меня и затсупорило :)
Да вроде нормально все и в вашем случае. Хоть первой, хоть последней будет *.
Если яндекс, рамблер и гугл, хоть слушаются директив роботса, то многие другие поисковики на него с легкостью забивают, поэтому возымеет ли это тот особенный эффект, которого вы так желаете добиться, трудно сказать.
Так может тогда прописать для каждого поисковика отдельно директиву? Уж очень не хочется пускать поисковики показывающие беки.
Робот Yahoo может не подчинятся командам файла robots.txt и просто игнорировать его,
если запрещенные страницы сайта имеют большое количество входящих ссылок или большие и
уважаемые поисковиком сайты ссылаются на запрещенные страницы. См.
Вот тут решается ваша проблема(читать оба топика):
/ru/forum/183414
/ru/forum/151592
Ещё по теме:
/ru/forum/170334
/ru/forum/132242