- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Объясните пожалуйста, что значит часто встречающаяся конструкция
И еще: частенько встречается такое:
Чем это отличается от
Спасибо!
Объясните пожалуйста, что значит часто встречающаяся конструкция
Будут закрыты все страницы сайта начинающиеся со ?
И еще: частенько встречается такое:
Чем это отличается от
Спасибо!
В первом случае будут закрыты страницы типа _site.ru/bitrix/1, _site.ru/bitrix/2 и т.д., а во втором могут быть закрыты и страницы типа _site.ru/bitrixxxx, _site.ru/bitrixghdjkghjk
по сути - у кого как переводится в статику (со / в конце или без него), тот те страницы и закрывает
Будут закрыты все страницы сайта начинающиеся со ?
А по-моему будет закрывать все динамические страницы типа index?param=1 и т.д...
А по-моему будет закрывать все динамические страницы типа index?param=1 и т.д...
Проверьте, я только что на всякий случай проверила - страницы через форму удаления на яндексе не удаляются с такой конструкцией в роботе, так что Ваше мнение ошибочно.
Проверьте, я только что на всякий случай проверила - страницы через форму удаления на яндексе не удаляются с такой конструкцией в роботе, так что Ваше мнение ошибочно.
Все. Понял. Вы правы )
Проверьте, я только что на всякий случай проверила - страницы через форму удаления на яндексе не удаляются с такой конструкцией в роботе, так что Ваше мнение ошибочно.
Тогда приведите пжалста пример страницы, которая будет закрыта...
Проверьте, я только что на всякий случай проверила - страницы через форму удаления на яндексе не удаляются с такой конструкцией в роботе, так что Ваше мнение ошибочно.
За чем гадать? Берем документуху в переводе и читаем:
Стандарт исключений для роботов (robots.txt)
и по теме:
Несколько слов о том, как работают роботы (spiders) поисковых машин.
и не забываем, что теоретически возможны проблемы
а вот такой вопрос еще возник: у кого приоритет выше, у robots.txt или у мета-тега robots?
где-то читал, что вроде у тега... хотя хочется услышать разные мнения
а вот такой вопрос еще возник: у кого приоритет выше, у robots.txt или у мета-тега robots?
где-то читал, что вроде у тега... хотя хочется услышать разные мнения
Теги только дополняют robots.txt, они не могут его перекрыть.
Например, у вас закрыт урл /admin/ в robots.txt, тогда робот просто не дойдет до тегов файлов в этом урле, т.к. не будет скачивать эту страницу (т.е. не должен индексировать, скачивать-то он может всё, что открыто). Если запрета в robots.txt нет, тогда робот смотрит на мета-теги. Если в них нет, тогда смотрит на дополнительные теги и атрибуты (тег noindex или атрибут rel="nofollow"). ;)
пасиб.🚬
Будьте добры, чтоб новую тему не открывать - подскажите..
У меня проблема с роботсом.
Присутствует ошибка . Об этом узнала из проверки сервисом dinews.ru/seo. Конкретнее :"Ошибка! robots.txt содержит html теги! "
На главной у меня строка кода <meta name="robots" content="index,follow">
В корневой директории прописан robots.txt -
User-agent: *
Disallow:
Host: www.texmash.ru
Что может быть не так???