Все вопросы по robots.txt - 2

KH
На сайте с 08.12.2016
Offline
38
115421

Конеш я не спорю, что нужно читать рекомендации яндекса и гугла, что нужно читать и разбираться. Я не спорю может с тем, что вопрос задал не корректно, если бы разбирался во всем этом и вопрос был бы поставлен как нужно. Дело в том что к примеру я знаю какие разделы или категории нужно закрыть на сайте, но я не знаю всех системных вещей. К примеру раньше закрывали wp-content, теперь рекомендуют этого не делать. Я не совсем понимаю к примеру, какие скрипты для загрузки нужны поисковикам с системных папок cgi-bin. Я хочу чтобы в ПИ небыло мусора как feed, который есть в скрытых результатах гугла, но нету в яше. Хочу чтобы ПИ правильно подгружали скрипты и картинки. Не знаю правильно ли щас изложил мысли). Может вообще уже ничего закрывать ненужно от роботов, может гуглойд и яша научились не парсить в индекс всякий мусор

-------------------------
Примечание модератора
Предыдущая тема: /ru/forum/828288

Zegeberg
На сайте с 30.09.2010
Offline
247
#1

Что-то запутался, надо закрыть от индекса пагинацию меток типа

Оставить только

Сейчас стоит

Disallow: /*?*

и

Allow: /component/tags/tag/

Как последнюю директиву подкорректировать, чтобы были открыты только метки с html окончанием. то есть основные страницы?

На ум пришло

Allow: /component/tags/tag/*html

Но ум слаб - не работает.

Решил, может кому пригодится

Disallow: /*tag/*?*
Disallow: /*feed*

а

Allow: /component/tags/tag/

Убрать.

Ссылки с форумов, блогов и соц сетей (http://forumok.com/p/c1710b6b/) Живой текст для сайта/магазина//Стихи с поздравлением Аудит, возвращение трафика на сайты - личка, скайп Zegeberg.
Павел Горбунов
На сайте с 13.06.2011
Offline
111
#2
KeicH2O:
Добрый день помогите кто чем может настроить более менее правильно файл роботс для ПИ гугла и яндекса
Пациент значит mywebpc.ru

Так у вас нормально все.

Не стремитесь сделать лучше - улучшайте!
P
На сайте с 19.05.2015
Offline
17
#3

Новый сайт, статей уникальных почти 50, гугл за 4 дня проиндексировал от силы 10 статей и 10 других страниц, а теперь все выплюнул и в индексе 6 страниц. Виной возраст сайта или проблема скорее в другом? Роботс (вордпресс) выглядит так:

User-agent: *
Disallow: /wp-admin/
Disallow: /?p=
Disallow: /?s=
Disallow: /search
Disallow: */page/
Disallow: */feed
Disallow: /tag/*/page/
Allow: /wp-admin/admin-ajax.php

Host: https://мой урл
Sitemap: https://мой урл/sitemap.xml
I
На сайте с 05.06.2017
Offline
5
#4

Всем привет!

Правильный ли запрет на индексацию постраничной навигации в битрикс?

Страницы идут такого типа /?PAGEN_1=2 /?PAGEN_1=3 и тд.

В robots.txt

Disallow: /*?PAGEN

Disallow: /*PAGEN_1=

Disallow: /*PAGEN_2=

Disallow: /*PAGEN_3=

Disallow: /*PAGEN_4=

Disallow: /*PAGEN_5=

Disallow: /*PAGEN_6=

Disallow: /*PAGEN_7=

Станислав Романенко
На сайте с 05.09.2007
Offline
315
#5

Правильно так:

Disallow: /*?PAGEN_*=

Disallow: /*&PAGEN_*=

Сайт не лезет в топ? Сделаю аудит без воды всего за 8000 рублей! Отзывы клиентов тут (https://searchengines.guru/ru/forum/939454), почта для связи: ingref@ya.ru Посмотрю, в чём проблема с вашим сайтом, за 100 рублей (https://searchengines.guru/ru/forum/comment/15662080).
I
На сайте с 05.06.2017
Offline
5
#6
Ingref:
Правильно так:

Disallow: /*?PAGEN_*=
Disallow: /*&PAGEN_*=

Спасибо!....

[Удален]
#7
phex:
Виной возраст сайта или проблема скорее в другом?

Зайти в вебмастер и посмотреть религия не позволяет?

R
На сайте с 01.12.2012
Offline
60
#8

Всем привет.

Подскажите, как правильно закрыть для индексации все страницы для печати в движке DLE в robots.txt?

Страницы для печати имеют примерно такие ссылки

у новостей
sait.ru/news/obshestvo/print:page,1,9508-test-test.html
у статистических страниц
sait.ru/print:test.html

Какой вариант будет правильнее?

Disallow: *print:*

Disallow: /*print:

Disallow: /*print:*

Или может как то по другому?

manic
На сайте с 08.12.2008
Offline
88
#9
Radrigo:

Какой вариант будет правильнее?
Или может как то по другому?

Именно для этих двух страниц сработает такая директива:

Disallow: /*print

А проверить, стали ли они запрещены в роботсе можно в Вебмастере Яндекса https://webmaster.yandex.ru/site/tools/robotstxt/ (выберите нужный сайт) и потом в это поле http://take.ms/VqJuN вставьте те страницы, которые хотите запретить и увидете результат.

nik_kent
На сайте с 05.02.2008
Offline
148
#10
manic:
Именно для этих двух страниц сработает такая директива:
Disallow: /*print

Дабы не запретить случайно страницы формата sait.ru/news/obshestvo/tut-sprinter-probezhal лучше делать маску как можно больше, а при наличии ":" в урлах, которые нужно запретить грех этим не воспользоваться.

В общем, так безопаснее:

Disallow: /*print:

P.S. Что удивительно, проверка роботса в вебмастере Яндекса правильно реагирует на двоеточие в конце.

С уважением, Николай.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий