- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
Писал вопрос в другой теме. Думаю, что правильно писать здесь.
Всем привет.
Имеется ряд страниц, которые необходимо закрыть от индексации. К примеру:
Страница:
http://сайт.ru/index.php/home/east
Закрываю:
Disallow: /*east
Проверяю здесь:
https://webmaster.yandex.ru/robots.xml
Написано - результат - разрешен.
Не понимаю в чем ошибка. Почему яндекс индексирует страницу? Прошу помощи.
Спасибо...
забыли: User-agent: *
Полный файл:
User-agent: *
Disallow: */east
Спасибо.
Нет, я не забыл. просто не стал здесь указывать.
/*/east или */east ?
---------- Добавлено 16.02.2015 в 20:32 ----------
Проверяю здесь:
https://webmaster.yandex.ru/robots.xml
/*/east и */east
результат - разрешен.
Значит индексируется? не понимаю в чем проблема
---------- Добавлено 16.02.2015 в 20:37 ----------
Сейчас попробовал вообще закрыть.
User-agent: *
Disallow: /
снова проверяю здесь:
https://webmaster.yandex.ru/robots.xml
Набираю любую страницу, и пишет что разрешен. Вообще перестал, что то понимать. Что за фигня?
Спасибо.
Нет, я не забыл. просто не стал здесь указывать.
/*/east или */east ?
---------- Добавлено 16.02.2015 в 20:32 ----------
Проверяю здесь:
https://webmaster.yandex.ru/robots.xml
/*/east и */east
результат - разрешен.
Значит индексируется? не понимаю в чем проблема
---------- Добавлено 16.02.2015 в 20:37 ----------
Сейчас попробовал вообще закрыть.
User-agent: *
Disallow: /
снова проверяю здесь:
https://webmaster.yandex.ru/robots.xml
Набираю любую страницу, и пишет что разрешен. Вообще перестал, что то понимать. Что за фигня?
Проверь доступность по пути domain.ru/robots.txt
И накройняк пропиши правило отдельно для Яндекса
User-agent: Yandex
Disallow: /
User-agent: *
Disallow: /
Так же на страницах можешь отдавать мета-тег:
<meta name='robots' content='noindex,nofollow' />
охх, как всё сложно)
Проверь доступность по пути domain.ru/robots.txt
И накройняк пропиши правило отдельно для Яндекса
User-agent: Yandex
Disallow: /
User-agent: *
Disallow: /
Так же на страницах можешь отдавать мета-тег:
<meta name='robots' content='noindex,nofollow' />
Пробовал так уже. Результат тот же...
Пробовал так уже. Результат тот же...
1)какой ответ серевера на файл https://webmaster.yandex.ru/server-response.xml
2)какое содержимое?
Я здесь читал интересную критику по robots.txt для блогов на WordPress.
Здравствуйте.
У меня вопрос по robots. Яндекс упорно индексирует несуществующие страницы - типа http://сайт/?id=xx
Запретил индексацию в robots:
User-agent: Yandex
Disallow: /?id=
После сегодняшнего апдейта - все без изменений. До этого стояла джумла и были подобные ссылки. На CMS запретить подобного рода ссылки невозможно, т.к. по сути выводит внутреннюю страницу, но без текста, с заголовком от главной страницы. И это очень сильно бьет по оптимизации сайта... посоветуйте, что можно сделать еще? 🤪
Здравствуйте.
У меня вопрос по robots. Яндекс упорно индексирует несуществующие страницы - типа http://сайт/?id=xx
Запретил индексацию в robots:
User-agent: Yandex
Disallow: /?id=
После сегодняшнего апдейта - все без изменений. До этого стояла джумла и были подобные ссылки. На CMS запретить подобного рода ссылки невозможно, т.к. по сути выводит внутреннюю страницу, но без текста, с заголовком от главной страницы. И это очень сильно бьет по оптимизации сайта... посоветуйте, что можно сделать еще? 🤪
удалить из выдачи
Добрый день.
Никак не могу сообразить как правильно запретить индексацию страниц для Wordpress.
У меня в теме Wordpresa выводится site.ru/page/5 и они дублируют главную страницу, и как наполняется сайт естественно этих страниц становится больше. Это мне надо закрыть от индексации
Но вот страницы в рубриках site.ru/rubrika/page/5 нужно оставить открытыми для индексации
Как это правильно прописать и сделать, чтобы в первом случаи все страницы page были закрыты от индексации, а во втором случае для страниц рубрики открыты?
Спасибо.