- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Делаю все внешние ссылки через редирект скрипт,
адрес скрипта добавил в запрет доступа robots.txt
но если кровлер обратиться - редирект на главную.
Как к этом отнесется гугл? И отдельно вопросы:
Если редирект на другую страничку - клоакинг?
Если запрет указан в robots.txt это^ - клоакинг?
но если кровлер обратиться - редирект на главную.
если я правильно понял, то бот редиректится на главную, это клоакинг. Вообще бот не должен будет запрашивать запрещенные к индексации в robots.txt файлы.
А если все тоже самое, но ошибку доступа ему выдавать (error 403)?
А если все тоже самое, но ошибку доступа ему выдавать (error 403)?
и так можно, хотя это опять-таки "не честно" по отношению к поисковикам, должно хватить и обычного disallow, можно выдавать любые коды 404 (не найден), 401 (нет прав), 500 (ошибка сервера), хоть 200 (просто без содержания документа) :) (только не 301, а то эффект будет обратный)
То что вы у себя на сайте накуралесили вы только себе проблему создали, имхо.
Проще надо делать и кровлеры к вам потянутся. Эти выкрутасы с редиректами, это болезнь всех начинающих вебмастеров, я тоже помню этой ерундой занимался... :)
Спасибо Zlo_606ep за полезные ответы.
Может быть я это сложно описал, но фактически выдавать поисковику на запросы disallow путей ошибку 403 вполне нормально.
А сделал я это что бы другие кровлеры не лазали где не следует, но что бы гугла не разозлить уточнил эти вопросы по реализации.