Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 02.07.2019, 23:42   #311
sacrament07
Абитуриент
 
Регистрация: 02.07.2019
Сообщений: 1
Репутация: 10

По умолчанию Re: Все вопросы по robots.txt - 2

Подскажите, html версию карты сайта надо закрывать от индексации? Вот гугл плагин xml sitemap считает что да, надо закрывать. А вот консоль гугла считает что это ошибка)
С xml версией все ок, вопросов нет по ней.
sacrament07 вне форума   Ответить с цитированием

Реклама
Старый 04.07.2019, 16:38   #312
nicha
Академик
 
Аватар для nicha
 
Регистрация: 30.10.2005
Сообщений: 1,264
Репутация: 70311

По умолчанию Re: Все вопросы по robots.txt - 2

Задача запретить гуглу индексировать сайт, но разрешить вход адсенс боту.
Сначала я запретил всех ботов
User-agent: *
Disallow: /
Индекса нет, но при модерации адсенсом сайта, отклон: "сайт недоступен", т.к. бота адсенса отфутболил.

Погуглил и сделал так:
User-agent: Googlebot
Disallow: /
User-agent: Mediapartners-Google
Disallow:
Индекс есть, модерацию проходит.

Подозреваю, что индексирует сайт бот с другим именем, но тут других не указано.
Зашел в логи хостинга, там только айпишники, юзерагентов нет.

Как запретить всех ботам , кроме Mediapartners, так прокатит?
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /

Как правильно настроить роботс, под мою задачу?

Последний раз редактировалось nicha; 04.07.2019 в 17:50..
nicha вне форума   Ответить с цитированием
Старый 12.07.2019, 04:06   #313
Greatbolt
Автор
 
Аватар для Greatbolt
 
Регистрация: 23.05.2011
Сообщений: 306
Репутация: 42995
Отправить сообщение для Greatbolt с помощью Skype™
Социальные сети Профиль в ВКонтакте

По умолчанию Re: Все вопросы по robots.txt - 2

Тут почитайте про allow директиву для robots, очень все доступно
__________________
Хорошие тексты для русских и Бурж сайтов. Вебархив. Ищу сам. 9 руб. / текста.
Оплата после проверки текстов. Отдаю в одни руки. Уникальность 90-100% etxt/text.ru/content-watch.
Greatbolt вне форума   Ответить с цитированием
Старый 30.07.2019, 15:40   #314
Vitaliy_Omelch
Студент
 
Регистрация: 09.04.2019
Сообщений: 18
Репутация: -5412

Question Составление

Вот мой короткий robots.txt

User-agent: *
Allow: /
Disallow: /admin/

Sitemap: https://suntown-ukra...com/sitemap.xml

часто видел что в файле robots.txt указывают очень много правил, стоит ли мне указывать их больше?
как я понимаю поисковые роботы индексируют всё что есть на сервере в сайте, если у меня в связи с тем, что я не кодер, нету доступа к серверной части сайта, то получается я и не смогу указать ничего более подробно в robots.txt? Или есть какие-то стандартные правила составления всех robots.txt?
Vitaliy_Omelch вне форума   Ответить с цитированием
Старый 30.07.2019, 16:05   #315
LazyBadger
Академик
 
Регистрация: 15.06.2017
Сообщений: 1,454
Репутация: 111965

По умолчанию Re: Составление

1. "Правильно заданный вопрос - половина ответа"
2. Правильно (полно и понятно) написанный заголовок - +100% к шансу того, что сообщение будет открыто и хотя бы прочитано
3. "Если ничего не помогает - прочтите наконец документацию"

По всему этому ответ на вопрос "Составление правильного robots.txt для моего сайта" будет скорее всего таким:
robots.txt включает в себя страницы и маски страниц сайта, которые хозяин-разработчик-автор сайта считает ненужными в индексе поисковых систем по разным причинам, по своим принципам, учитывая что
Цитата:
Без robots.txt та информация, которая должна быть скрыта от посторонних глаз, может попасть в выдачу, а из-за этого пострадаете и вы, и сайт.
и на зная сайта, сказать, полный или неполный набор правил, могут только всезнающие "иксперды", но у них сейчас, к сожалению, каникулы

Если серьезно, то

* "Allow /" является бесполезной в контексте директивой, потому как "разрешено все, что явно не запрещено"
* проверить, как сайт будет доступен спайдерам, можно при помощи любого краулера, который понимает и парсит robots.txt - просто просканировать сайт и посмотреть, нет ли чего лишнего в выдаче (что не гаранирует, что это "лишнее" не появится потом в выдаче при помощи внешних ссылок) или же нагуглить "рекомендованный robots.txt для <CMS> <Version>" и думать над результатами поисков
__________________
Производство жести методом непрерывного отжига
LazyBadger вне форума   Ответить с цитированием
Старый 14.08.2019, 14:24   #316
Dark Master
Студент
 
Регистрация: 21.08.2014
Сообщений: 12
Репутация: 10

По умолчанию Запрет индексации раздела в robots.txt

Здравствуйте. Интересует такой вопрос: если в robots.txt указать запрет индексации определенного раздела, например:
Disallow: /category/
исчезнут ли из выдачи страницы данного раздела, вроде /category/page.html, которые до этого уже проиндексировались?

Спасибо.
Dark Master вне форума   Ответить с цитированием
Старый 14.08.2019, 15:13   #317
Sitealert
Слесарь-сайтосборщик
 
Регистрация: 30.09.2016
Адрес: Замкадье
Сообщений: 5,102
Репутация: 348366

По умолчанию Re: Запрет индексации раздела в robots.txt

Цитата:
Сообщение от Dark Master Посмотреть сообщение
если в robots.txt указать запрет индексации
Вы не можете запретить индексацию в robots.txt. Вы можете запретить роботу (рекомендательно, естественно) посещать указанный в директиве ресурс.
__________________
Отпилю лишнее, прикручу нужное, выправлю кривое.
Вытравлю вредителей.
Sitealert вне форума   Ответить с цитированием
Сказали спасибо:
Старый 14.08.2019, 15:28   #318
Vit86
Дипломник
 
Регистрация: 17.10.2018
Сообщений: 86
Репутация: -824

По умолчанию Re: Запрет индексации раздела в robots.txt

Даже полностью запретить индексацию сайта, он не выпадет из поиска.
Внешние ссылки на эти страницы с категорией есть?
Vit86 вне форума   Ответить с цитированием
Сказали спасибо:
Старый 15.08.2019, 19:17   #319
Dark Master
Студент
 
Регистрация: 21.08.2014
Сообщений: 12
Репутация: 10

По умолчанию Re: Запрет индексации раздела в robots.txt

Цитата:
Сообщение от Vit86 Посмотреть сообщение
Даже полностью запретить индексацию сайта, он не выпадет из поиска.
Внешние ссылки на эти страницы с категорией есть?
Возможно на некоторые страницы категории ссылки имеются, но мне нужно было удалить из выдачи Яндекса конкретно саму страницу раздела - site.ru/category/, на которой частично дублируется контент внутренних страниц раздела. Собственно запрос на удаление уже сделал в Вебмастере, вроде осталось дождаться апдейта.

Интересует еще один вопрос: как правильно запретить роботу ходить по урлам, содержащим определенные параметры или символы, в частности символ "?" (знак вопроса).

Как правильно сделать:
Disallow: /*?* , Disallow: /*? , Disallow: *?* или Disallow: *? ?
Dark Master вне форума   Ответить с цитированием
Старый 16.08.2019, 13:58   #320
Miha Kuzmin (KMY)
Просто лучший
 
Аватар для Miha Kuzmin (KMY)
 
Регистрация: 05.05.2003
Адрес: Чехов
Сообщений: 31,490
Репутация: 2100804

По умолчанию Re: Все вопросы по robots.txt - 2

Второй, что ж так прямые инструкции неясны...
Miha Kuzmin (KMY) вне форума   Ответить с цитированием
Сказали спасибо:
Ответ

Метки
clean , param , robots , robots.txt , seo



Опции темы

Быстрый переход


Регистрация Справка Календарь Поддержка Все разделы прочитаны