- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Здравствуйте!
При очередной проверке сайта в Яндекс Вебмастере зашли в Исключенные страницы и ужаснулись количеству Дублей страниц.
Причем, не можем понять откуда они вообще взялись. К примеру, есть страница http://site.ru/uslugi, а в вебмастере еще куча ее дублей вида http://site.ru/uslugi/Аренда/ и http://site.ru/uslugi/Аренда/Аренда и т.д. и вообще это слово Аренда подставляется чуть не к каждому урлу. Самое страшное сайт по этим адресам доступен.
Подскажите, пожалуйста, откуда это вообще берется?
Понятно, что нужно закрыть от индексации как минимум,
Перевести Аренда в Punycode и добавить директиву Disallow: *xn--80aald4bq*, только вот при проверке Разрешены ли URL? в ЯВ страницы все равно отдают ответ 200
В пуникод переводить не нужно.
Урлы берутся, скорее всего, из-за неверных относительных ссылок в меню, например: <a href="аренда">Аренда</a> без слэша в начале. То, что движок обрабатывает такие УРЛы - исключительно проблема движка и криворуких кодеров.
В пуникод переводить не нужно.
Урлы берутся, скорее всего, из-за неверных относительных ссылок в меню, например: <a href="аренда">Аренда</a> без слэша в начале. То, что движок обрабатывает такие УРЛы - исключительно проблема движка и криворуких кодеров.
Если прописать в robots так
Disallow: *Аренда*
вебмастер выдает ошибку Возможно, был использован недопустимый символ
За относительные ссылки спасибо! Будем смотреть в этом направлении. Хотя cms платная, не ожидали подвоха
Хотя cms платная, не ожидали подвоха
это не показатель почти у всех подобные косяки ;)
P.S. скорей всего там полно проблем, с обработкой url, вплоть до xss
А поводу закрытия от индексации в файле robots.txt кириллических символов кто-нибудь может подсказать?
Если так Disallow: *Аренда* , то вебмастер выдает ошибку Возможно, был использован недопустимый символ.
Если перевести в пуникод , то при проверке статуса url все равно доступна страница
Если перевести в пуникод , то при проверке статуса url все равно доступна страница
/ в дизаллоу не забыли? Потом проверьте. То есть
Disallow: /*пуникод
А поводу закрытия от индексации в файле robots.txt кириллических символов кто-нибудь может подсказать?
Disallow: /*%
Disallow: *%
% в нижнем регистре!11