- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Доброго дня вебмастера! Как запретить пользователям доступ к файлам sitemap на сайте, но при этом чтобы поисковики имели полный доступ к данным файлам?
В htaccess разрешить доступ к этим файлам только с определённых IP (нужно знать IP поисковиков).
В htaccess разрешить доступ к этим файлам только с определённых IP (нужно знать IP поисковиков).
Интересно, списки ip гуглить?
Или: Сделайте адрес карты сайта не стандартным.
К примеру имя-сайта.ru/jhekjwherkjwher.xml И скормите такую ссылку поисковикам (в кабинете вебмастера). Пользователи не подберут такую ссылку.
Или: Сделайте адрес карты сайта не стандартным.
К примеру имя-сайта.ru/jhekjwherkjwher.xml И скормите такую ссылку поисковикам (в кабинете вебмастера). Пользователи не подберут такую ссылку.
Я думал добавить все сайтмапы в роботс, поэтому встала необходимость запрета именно на них..
Если вы хотите постоянно отслеживать все изменения в ip адресах роботов и корректировать настройки, то .htaccess самое то.
"Я думал добавить все сайтмапы в роботс" - добавив в кабинет вебмастера информацию о картах надобность прописывать их в роботс пропадет.
p.s Это всего лишь один из вариантов. Решать Вам )
Или: Сделайте адрес карты сайта не стандартным.
К примеру имя-сайта.ru/jhekjwherkjwher.xml И скормите такую ссылку поисковикам (в кабинете вебмастера). Пользователи не подберут такую ссылку.
не спасет:
site:site.ru .xml
Нафига вообще такие свистопляски?
Если вы хотите постоянно отслеживать все изменения в ip адресах роботов и корректировать настройки, то .htaccess самое то.
"Я думал добавить все сайтмапы в роботс" - добавив в кабинет вебмастера информацию о картах надобность прописывать их в роботс пропадет.
p.s Это всего лишь один из вариантов. Решать Вам )
понял, спасибо, тогда не будем действительно заморачиваться, а добавим карты в поисковики.
не спасет:
site:site.ru .xml
У сайтов, xml карта которых попала в выдачу ссылка на неё указана либо на страницах сайта, либо в robots.txt.
Предполагаю, что если нигде не будет указан путь или ссылка до sitemap, то в выдаче она не появится.