Все вопросы по robots.txt - 2

vold57
На сайте с 01.10.2007
Offline
261
#181

Все так.

В сниппетах запрещенных для индексации страниц: "No information is available for this page".

Аудит сайтов - главная часть это тщательная ручная работа, а не отчеты сервисов и программ (https://vold57.com/audit). Продвижение сайтов (https://vold57.com/seo)
A
На сайте с 05.04.2018
Offline
4
#182

Disallow: /*?disallow=mobile

вот у меня прописан как сделать что бы гугл данные страницы не показывал мне совсем что бы он забыл про их существования

vold57
На сайте с 01.10.2007
Offline
261
#183
aksmir:
как сделать что бы гугл данные страницы не показывал мне совсем что бы он забыл про их существования

Вот тут написано - http://prntscr.com/kk24tp.

mdx
На сайте с 12.03.2007
Offline
126
mdx
#184

Привет всем! Вопрос к академикам -) Давненько я не сталкивался с ошибками сделанными чужими руками, да и не сеошничаю давно уже , но вопрос по теме однако -)

Проблема: гугл ругается -

Файл robots.txt блокирует сканирование страницы для мобильных устройств.

Чтобы роботы Googlebot и Googlebot-Image могли сканировать ваш сайт, внесите соответствующие изменения в файл robots.txt.. Инструкции по настройке

Пример страницы которая получила данный статус www.domain.ru/katalog/products/stroitelstvo-i-remont/stroitelnoe-oborudovanie-i-inventar/lestnicy-stremjanki-i-vyshki-tury/stremjanki/stremyanka-sibrteh-843908?city=SPB

Урл дан в фиде загруженном через мерчант те ссылку менять мы не хотим, она правильная

Ознакомился с robots.txt чтобы найти, что там может блокировтаь товары/категории, прямого запрета нет, но есть вот это

Disallow: */original
Disallow: /*?*/
Disallow: *?campaign*
Disallow: *?ad*
Disallow: /*&*

Я так подозреваю, что это из за /*?*/ правильно?

p/s в сам url шаблон далее подставляется utm разметка типа /stremyanka-sibrteh-843908?city=SPB&utm_campaign=stremyanky.... ну и так делее все стандартно

Подпись: Андрей Викторович П. -)
mdx
На сайте с 12.03.2007
Offline
126
mdx
#185

неужели ответить тут некому стало?

H
На сайте с 18.05.2007
Offline
99
#186

Добрый день

Помогите скрыть дубли страниц типа

https://***.pro/templates/all/delovie-uslugi?tag=catalog

https://***.pro/templates/all/delovie-uslugi?sort=price

и т.д.

перепробовал несколько способов

Disallow: *?sort=

Disallow: /*?*sort=*

и другие, но все равно Yandex webmaster говорит, что они разрешены в robots :(

Станислав Романенко
На сайте с 05.09.2007
Offline
325
#187

Disallow: /*tag=

Disallow: /*sort=

Сайт не лезет в топ? Сделаю аудит без воды всего за 8000 рублей! Отзывы клиентов тут (https://searchengines.guru/ru/forum/939454), почта для связи: ingref@ya.ru Посмотрю, в чём проблема с вашим сайтом, за 100 рублей (https://searchengines.guru/ru/forum/comment/15662080).
R
На сайте с 28.09.2011
Offline
72
#188

Добрый день. Вопрос следующий. Нужно закрыть от индексации яндекса несколько страниц сайта, но для гугла и других ботов не закрывать. Сайт на ворд прессе. Стоит плагин Yoast SEO. Можно конечно закрыть индексацию в нем, но он закроет для всех ботов.

Правильный ли роботс, и сработает ли Disallow: /адрес-страницы1/

Disallow: /адрес-страницы2/ для яндекса, если плагином Yoast эти страницы разрешены для индексации?

Второй вопрос. Как лучше User-agent: YandexBot, или User-agent: Yandex, и нужно ли повторять все Disallow для яндекса которые указаны для всех ботов в User-agent: * ? Заранее спасибо

User-agent: YandexBot

Disallow: /адрес-страницы1/

Disallow: /адрес-страницы2/

User-agent: *

Allow: /wp-admin/admin-ajax.php

Disallow: /wp-admin/

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /*?*

Host: site.ru

Sitemap: http://site.ru/sitemap.xml

R
На сайте с 28.09.2011
Offline
72
#189
Rasklad:
Добрый день. Вопрос следующий. Нужно закрыть от индексации яндекса несколько страниц сайта, но для гугла и других ботов не закрывать. Сайт на ворд прессе. Стоит плагин Yoast SEO. Можно конечно закрыть индексацию в нем, но он закроет для всех ботов.
Правильный ли роботс, и сработает ли Disallow: /адрес-страницы1/
Disallow: /адрес-страницы2/ для яндекса, если плагином Yoast эти страницы разрешены для индексации?
Второй вопрос. Как лучше User-agent: YandexBot, или User-agent: Yandex, и нужно ли повторять все Disallow для яндекса которые указаны для всех ботов в User-agent: * ? Заранее спасибо


User-agent: YandexBot
Disallow: /адрес-страницы1/
Disallow: /адрес-страницы2/

User-agent: *
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*

Host: site.ru
Sitemap: http://site.ru/sitemap.xml

Спасибо. Разобрался :)

Правильно так

User-agent: Yandex

Allow: /wp-admin/admin-ajax.php

Disallow: /wp-admin/

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /*?*

Disallow: /адрес-страницы1/

Disallow: /адрес-страницы2/

User-agent: *

Allow: /wp-admin/admin-ajax.php

Disallow: /wp-admin/

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /*?*

Host: site.ru

Sitemap: http://site.ru/sitemap.xml

E
На сайте с 05.07.2018
Offline
52
#190

Есть сайт kakafuego.de/admina/katalog/tovar

Как закрыть в роботсе kakafuego.de/admina/katalog/, но не закрыть kakafuego.de/admina/katalog/tovar ?

Lorem Ipsum has been the industry's standard dummy text ever since the 1500s, when an unknown printer took a galley of type and scrambled it to make a type specimen book.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий