- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
LiM, полностью редиректящий сайт не может быть выбран главным зеркалом.
А полностью редиректящий сайт это значит что на любой странице сайта есть meta refresh? Или ещё есть варианты?
🚬
> Невежливых агентов
будет проходить без моего участия.
Да я, собственно, и не надеялся. Просто подумал, какую бы реакцию за бугром мог вызвать, к примеру, Googlebot x.x, игнорирующий robots.txt... Сменить бы вам имена всем агентам, которых вы за роботов не держите.
wolf, "зеркальщик" действительно проверяет полностью запрещенные хосты, см. выше.
Специально добавлю, что он берет не более 10-15 документов с хоста за проверку, и ничего не индексирует. Кроме того, он не является сам по себе "пауком", так что, в силу служебной необходимости, он вынужден работать с robots.txt несколько не так, как остальные роботы.
А вот меня уже забодали различные роботы (ой, ошибся, это не роботы ;) ) яндекса, которые лезут своим свинским рылом куда не следует и создают трафик. Давайте я тоже буду к вам систематически лазить ? И ложил я на ваш robots.txt сами знаете что 😡
melkov,
- а я не только слышал, но и видел - отлуп за запрос к директории /norobot/ на Яндексе.
Miha Kuzmin, Вы являетесь администратором своего сайта, и если Вам не нравится "зеркальщик", - не пускайте его.
wolf,
> Сменить бы вам имена всем агентам, которых вы за роботов не держите.
Думаю, Вы преувеличиваете масштабы трагедии. Пока что эта проблема не вышла за пределы обсуждения на этом форуме.
euhenio,
отлуп за запрос к директории /norobot/ на Яндексе.
Будьте уверены, "зеркальщик" работает так, что "отлуп" от www.yandex.ru он точно не получит (тему раскрывать не буду).
Опять двойные стандарты... Это, похоже, принцип такой.
На самом деле, зеркальщик не знает слова /norobot/, просто алгоритм у него такой, что не зайдет он туда.
Да речь не о том, что туда зайдет зеркальщик. А о том, что 10-15 страниц, скачанных роботом Яндекса из запрещенной области "не считаются". А при этом даже одна страница, скачанная с yabdex.ru/norobot/, уже отрубает ip.
LiM, полностью редиректящий сайт не может быть выбран главным зеркалом.
Возможно я не совсем точно выразился. Попробую еще раз:
Был сайт А с несколькими разделами. Потом один из разделов сайта А был выделен в отдельный проект и размещен на сайте Б. С сайта А были поставлены редиректы со всех адресов, где ранее был выделенный проект, на соответствующие страницы сайта Б. Другие разделы остались на месте и редиректов, соответственно, не выдают. Все редиректы даются с кодом 301, который четко и ясно говорит, что содержимое переехало навсегда.
Яндекс же склеил эти два сайта в один и выдает только адреса страниц на сайте А. Для страниц сайта Б выдаются те адреса сайта А, где стоят редиректы на страницы сайта Б.
Получается, что пользователи получают, что ищут, а создатели чешут репы и думают, как не испортить себе жизнь.