Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 02.07.2019, 23:42   #311
sacrament07
Абитуриент
 
Регистрация: 02.07.2019
Сообщений: 1
Репутация: 10

По умолчанию Re: Все вопросы по robots.txt - 2

Подскажите, html версию карты сайта надо закрывать от индексации? Вот гугл плагин xml sitemap считает что да, надо закрывать. А вот консоль гугла считает что это ошибка)
С xml версией все ок, вопросов нет по ней.
sacrament07 вне форума   Ответить с цитированием

Реклама
Старый 04.07.2019, 16:38   #312
nicha
Академик
 
Аватар для nicha
 
Регистрация: 30.10.2005
Сообщений: 1,260
Репутация: 70311

По умолчанию Re: Все вопросы по robots.txt - 2

Задача запретить гуглу индексировать сайт, но разрешить вход адсенс боту.
Сначала я запретил всех ботов
User-agent: *
Disallow: /
Индекса нет, но при модерации адсенсом сайта, отклон: "сайт недоступен", т.к. бота адсенса отфутболил.

Погуглил и сделал так:
User-agent: Googlebot
Disallow: /
User-agent: Mediapartners-Google
Disallow:
Индекс есть, модерацию проходит.

Подозреваю, что индексирует сайт бот с другим именем, но тут других не указано.
Зашел в логи хостинга, там только айпишники, юзерагентов нет.

Как запретить всех ботам , кроме Mediapartners, так прокатит?
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /

Как правильно настроить роботс, под мою задачу?

Последний раз редактировалось nicha; 04.07.2019 в 17:50..
nicha вне форума   Ответить с цитированием
Старый 12.07.2019, 04:06   #313
Greatbolt
Автор
 
Аватар для Greatbolt
 
Регистрация: 23.05.2011
Сообщений: 300
Репутация: 42995
Отправить сообщение для Greatbolt с помощью Skype™
Социальные сети Профиль в ВКонтакте

По умолчанию Re: Все вопросы по robots.txt - 2

Тут почитайте про allow директиву для robots, очень все доступно
__________________
Хорошие тексты для русских и Бурж сайтов. Вебархив. Ищу сам. 9 руб. / текста.
Оплата после проверки текстов. Отдаю в одни руки. Уникальность 90-100% etxt/text.ru/content-watch.
Greatbolt вне форума   Ответить с цитированием
Ответ

Метки
clean , param , robots , robots.txt , seo



Опции темы

Быстрый переход


Регистрация Справка Календарь Поддержка Все разделы прочитаны