- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Доброго времени суток, форумчане.
Сегодня, на одном сайте, увидел такие строчки в robots.txt:
User-agent: *
Disallow: /
Allow: /$
Allow: /ua/$
Allow: /en/$
На сколько я понимаю "User-agent: * | Disallow: /" запрещает сайт для индексации как Гуглу так и Яндексу, но строчки "Allow: /$ | Allow: /ua/$ | Allow: /en/$" разрешают индексировать главную страницу на 3 языках. На сколько это профессиональное решение или это больше на чушь похоже?
Просто для меня такие строки являются непонятными, если кто-то может помочь и объяснить, буду благодарен.
Сложно понять не видя сайта. Судя по строчкам в роботсе к индексу открыты не сами языковые папки, а страницы, в которых содержится $
Вы все правильно понимаете.
Windakolit По поводу символа $ в конце правил в robots.txt ссылка
Подход странный, но необходимо видеть сам сайт. Может быть в вашем конкретном случае это и оправдано.
Для языковых версий рекомендуется использовать: link rel="alternate"
Вы все правильно понимаете.
Windakolit По поводу символа $ в конце правил в robots.txt ссылка
Подход странный, но необходимо видеть сам сайт. Может быть в вашем конкретном случае это и оправдано.
Для языковых версий рекомендуется использовать: link rel="alternate"
Тут назрел другой вопрос. В роботсе не написано, что это правила для гугл бота. И теперь в индекст по запросу "site:http://mysite" вылезли практически все страницы. Кроме тех разделов которые Disallow(их там около 5), но вот вопрос какого черта это произошло, если Disallow: / стоит(что в принципе запрещает индексировать, что либо кроме того, что я сам разрешу). А вот Allow стоит всего страниц 15. Но гугл решил проиндексировать 224.
Первый вопрос, какого черта это произошло?
Второй, что посоветуете делать? Оперативно допилить 224 страницы или все таки закрыть все и делать все по уже заранее заданому плану?
robots.txt носит для Гугла рекомендательный характер. Гораздо надежнее (для Гугла) использовать метатег robots, если нужно запретить индексирование.
Сам всегда использую тандем robots.txt и метатег robots.