- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Добрый день!
Я занимаюсь продвижением сайта, у которого очень много позиций в каталоге (+3000). Естественно на все написать контент не получается и я закрыл каталог полностью. Потом постепенно топовые позиции стал переписывать и открывать в через allow в robots.txt.
Сегодня зашел в вебмастер и у меня 1000+ страниц в индексе, хотя должно быть около 100. Посмотрел, очень много из каталога вошло в индекс. В вебмастере в "Анализ robots.txt" проверяю некоторые позиции и пишет яндекс, что разрешено, хотя есть явное правило disallow: /catalog
Может у меня уже лыжи не едут и что-то не замечаю или же это глюк яндекса какой, очень прошу помочь!
Вот сам сайт: http://www.secthor.ru/
Вот его robots: http://www.secthor.ru/robots.txt
Еще раз повторюсь, обратите на строку disallow: /catalog
А потом какой-нибудь урл проверьте http://www.secthor.ru/catalog/surveillance/videoregistratoryi/16-kanalnyie/bestdvr-1603lightnet-s
Он в индексе, и яндекс пишет, что разрешен((
можно попробовать еще так
добавив тег для нужной страницы с помощью if и php
<meta name="robots" content="noindex, nofollow"/>
добавив тег для нужной страницы с помощью if и php
<meta name="robots" content="noindex, nofollow"/>
Нет, не вариант. Т.к. есть страницы нужные в индексе, то делать только вручную. А 3000+ страниц добавлять вручную не вариант.
А сколько апов прошло после изменения в robots информации ?
Ой много... С ноября где-то он такой... сейчас добавил только строку /catalog/ в disallow, но ничего не изменилось
Как вариант писать платонам.
Все верно у вас прописано.
Яша индексирует, что ему надо. :) А что говорят ему индексировать, считает неинтересным пользователям...
☝ Попробуйте в таком варианте Disallow: /*catalog
Неправильно директивы пишете. Вот ваш адрес данный для проверки
http://www.secthor.ru/catalog/surveillance/videoregistratoryi/16-kanalnyie/bestdvr-1603lightnet-s
вот запись в роботсе
Disallow: /catalog
allow: /catalog/surveillance/videoregistratoryi/
аллоу приоритетнее дисаллоу и почему вы тогда удивлены, что адрес который вы проверяете разрешен?
Все верно у вас прописано.
Смотря что нужно.
Строка "allow: /catalog/surveillance/videoregistratoryi/" есть, значит эту папку индексировать можно. Посему этот урл http://www.secthor.ru/catalog/surveillance/videoregistratoryi/16-kanalnyie/bestdvr-1603lightnet-s и разрешен.
В общем, это лыжи, а не асфальт виноват.
Ну и вдогонку - Allow следует все-таки писать с большой буквы, а переводы строк внутри секции не стоит делать. Хотя Яндекс и читает Ваш robots.txt правильно.
P.S. Долго пишу :)
http://www.secthor.ru/catalog/survei...1603lightnet-s
вот запись в роботсе
Disallow: /catalog
allow: /catalog/surveillance/videoregistratoryi/
аллоу приоритетнее дисаллоу и почему вы тогда удивлены, что адрес который вы проверяете разрешен?
Блин, я не обратил внимание. Раньше было allow: /catalog/surveillance/videoregistratoryi/$, сейчас это только и оставил. Спасибо большое, проблема решена!
Строка "allow: /catalog/surveillance/videoregistratoryi/" есть, значит эту папку индексировать можно. Посему этот урл http://www.secthor.ru/catalog/survei...1603lightnet-s и разрешен.
В общем, это лыжи, а не асфальт виноват.
Ну и вдогонку - Allow следует все-таки писать с большой буквы, а переводы строк внутри секции не стоит делать. Хотя Яндекс и читает Ваш robots.txt правильно.
P.S. Долго пишу
и Вам огромное спасибо! Оставил allow: /catalog/surveillance/videoregistratoryi/$, теперь все гуд:)