- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Disallow: /category
https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml - тут все изложено. Главное спарсить все страницы и найти все что необходимо убрать.
---------- Добавлено 18.08.2016 в 11:19 ----------
Закрыл в роботс как посоветовали. Затем урл вида site.ru/robots.txt скормил Яндексу через аддурилку.
Прошло 3 дня, но все осталось как прежде. Способ не сработал или надо еще подождать?
Вы только запретили роботу индексировать эти страницы. Проверьте через вэбмастер доступны ли сейчас URL которые вы пытались выбросить. (Анализ robots.txt, внизу есть проверка). Если все нормально - остается ждать когда они выпадут из индекса.
https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml - тут все изложено. Главное спарсить все страницы и найти все что необходимо убрать.
---------- Добавлено 18.08.2016 в 11:19 ----------
Вы только запретили роботу индексировать эти страницы. Проверьте через вэбмастер доступны ли сейчас URL которые вы пытались выбросить. (Анализ robots.txt, внизу есть проверка). Если все нормально - остается ждать когда они выпадут из индекса.
По-прежнему доступны :(
А как запретить то, что после номера страницы? Сейчас в примере там цифра 4, но естественно может быть и 1 и 100. Т.е. запретить всё то, что начинается с вопросительного знака?
По приведенной ссылке будет примерно так:
http://mysite.com/page/*?*
Можно поголовно все URL с параметрами прикрыть таким образом:
Disallow /*?*
По приведенной ссылке будет примерно так:
http://mysite.com/page/*?*
Можно поголовно все URL с параметрами прикрыть таким образом:
Disallow /*?*
Спасибо. Сделал для Яндекса. Я так понимаю, для User-agent: Googlebot это тоже лучше сделать?