- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
В DLE все юзеры закрыты от индексации. Требуется, чтобы только один пользователь был доступен для индексации поисковиками
Как правильно это настроить? Будет ли работать схема?
Disallow: /user/
Allow: /user/%C4%EC%E8%F2%F0%E8%E9+%CB%F3%ED%E8%ED/
И еще вопрос. Если имя пользователя написано русскими буквами, то правильно ли добавлять в роботс ссылку /user/%C4%EC%E8%F2%F0%E8%E9+%CB%F3%ED%E8%ED/ или нужно писать имя как оно есть на русском? Гугл в выдаче отображает ссылку вида /user/Имя+Фамилия/ нужно ли её в таком виде добавлять в роботс?
1. Disallow: /user/
2. Allow: /user/%C4%EC%E8%F2%F0%E8%E9+%CB%F3%ED%E8%ED/
1. Правильно
2. Правильно
1. Правильно
2. Правильно
спасибо, буду пробовать. Нет ли у поисковиков сервиса, чтобы проверить доступность страницы для них?
Нет ли у поисковиков сервиса, чтобы проверить доступность страницы для них?
Добавь страницу в http://webmaster.yandex.ru/addurl.xml
Если скажет, что страница закрыта от индексации - значит закрыта. Или скажет, что страница проиндексирована или будет проиндексирована.
И не забывайте, что Google чхать на Allow:
И не забывайте, что Google чхать на Allow:
Разве?
Есть свежий практический опыт, когда он игнорирует Allow?
И не забывайте, что Google чхать на Allow:
Гугл вообщ какой-то странный. Он проиндексировал запрещенную страницу и выдает её в выдаче. Просто вместо описания стоит текст "Описание веб-страницы недоступно из-за ограничений в файле robots.txt. "
Т.е. от него вообще ничего закрыть нельзя. Только если физически запретить доступ, но это уже либо клоакинг либо пользователи тоже не смогут зайти.
Гугл вообщ какой-то странный. Он проиндексировал запрещенную страницу и выдает её в выдаче. Просто вместо описания стоит текст "Описание веб-страницы недоступно из-за ограничений в файле robots.txt. "
Т.е. от него вообще ничего закрыть нельзя. Только если физически запретить доступ, но это уже либо клоакинг либо пользователи тоже не смогут зайти.
Просто ссылка какая-нибудь стоит с другого ресурса на эту страницу.
Для гугла, чтобы полностью исключить страницу из выдачи независимо от внешних ссылок нужно прописывать:
<meta name="robots" content="noindex,nofollow" />, а не закрывать в robots.txt.
в яндексе можно роботс проверить http://webmaster.yandex.ru/robots.xml