- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Вот нашел сегодня у себя на сайте и не могу вспомнить чтобы такое писал в роботс...
Что делает такой роботс.тхт?
User-Agent: *
Host: www.domen.ru
Disallow: /?
Видимо, замысел был такой: вторая строчка определяет основной домен с www (только для яндекса), а третья запрещает к индексации (для всех поисковиков) урлы вида www.domen.ru/?тут_всё_равно_что
Но составлено не очень корректно. Host должен быть последней строкой в секции, а лучше вообще в отдельной для User-Agent: Yandex
А вообще строчка Disallow: /? -- это скорее всего попытка защиты от палева продажных ссылок, если этот сайт в sape. :)
Видимо, замысел был такой: вторая строчка определяет основной домен с www (только для яндекса), а третья запрещает к индексации (для всех поисковиков) урлы вида www.domen.ru/?тут_всё_равно_что
просто есть мысли что эти роботсы, не мной туда положены... вот и хочется понять, не обломает ли Disallow: /? доступ паука ко всему сайту... т.к. роботс заметил именно после выпадения из индекса...