Все вопросы по robots.txt - 2 - Форум об интернет-маркетинге
Этот сайт существует на доходы от рекламы.
Пожалуйста, выключите AdBlock.
Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 01.09.2017, 15:34   #1
Дипломник
 
Регистрация: 08.12.2016
Сообщений: 62
Репутация: -11

Exclamation Все вопросы по robots.txt - 2

Конеш я не спорю, что нужно читать рекомендации яндекса и гугла, что нужно читать и разбираться. Я не спорю может с тем, что вопрос задал не корректно, если бы разбирался во всем этом и вопрос был бы поставлен как нужно. Дело в том что к примеру я знаю какие разделы или категории нужно закрыть на сайте, но я не знаю всех системных вещей. К примеру раньше закрывали wp-content, теперь рекомендуют этого не делать. Я не совсем понимаю к примеру, какие скрипты для загрузки нужны поисковикам с системных папок cgi-bin. Я хочу чтобы в ПИ небыло мусора как feed, который есть в скрытых результатах гугла, но нету в яше. Хочу чтобы ПИ правильно подгружали скрипты и картинки. Не знаю правильно ли щас изложил мысли). Может вообще уже ничего закрывать ненужно от роботов, может гуглойд и яша научились не парсить в индекс всякий мусор





-------------------------
Примечание модератора
Предыдущая тема: https://searchengines.guru/showthread.php?t=828288

Последний раз редактировалось wolf; 27.09.2017 в 02:43..
KeicH2O вне форума   Ответить с цитированием

Реклама
Старый 08.09.2017, 11:03   #2
Zegeberg
Ручной работы
 
Аватар для Zegeberg
 
Регистрация: 30.09.2010
Адрес: Буркина-Фасо
Сообщений: 2,711
Репутация: 519363
Отправить сообщение для Zegeberg с помощью ICQ Отправить сообщение для Zegeberg с помощью Skype™
Социальные сети

По умолчанию Re: Все вопросы по robots.txt

Что-то запутался, надо закрыть от индекса пагинацию меток типа
Оставить только
Сейчас стоит
Цитата:
Disallow: /*?*
и
Цитата:
Allow: /component/tags/tag/
Как последнюю директиву подкорректировать, чтобы были открыты только метки с html окончанием. то есть основные страницы?
На ум пришло
Цитата:
Allow: /component/tags/tag/*html
Но ум слаб - не работает.

Решил, может кому пригодится
Цитата:
Disallow: /*tag/*?*
Цитата:
Disallow: /*feed*
а
Цитата:
Allow: /component/tags/tag/
Убрать.
__________________
Ссылки с форумов, блогов и соц сетей
Настройка, ведение Директ.
Аудит, возвращение трафика на сайты - личка, скайп - Zegeberg.

Последний раз редактировалось Zegeberg; 08.09.2017 в 12:26..
Zegeberg вне форума   Ответить с цитированием
Старый 08.09.2017, 11:50   #3
Павел Горбунов
Профессор
 
Аватар для Павел Горбунов
 
Регистрация: 13.06.2011
Адрес: Новосибирск
Сообщений: 604
Репутация: 26193
Социальные сети Профиль в ВКонтакте

По умолчанию Re: Помогите настроить Robots на 2017

Цитата:
Сообщение от KeicH2O Посмотреть сообщение
Добрый день помогите кто чем может настроить более менее правильно файл роботс для ПИ гугла и яндекса
Пациент значит mywebpc.ru
Так у вас нормально все.
__________________
Не стремитесь сделать лучше - улучшайте!
Павел Горбунов вне форума   Ответить с цитированием
Старый 08.09.2017, 21:53   #4
phex
Студент
 
Регистрация: 19.05.2015
Сообщений: 10
Репутация: -5557

По умолчанию Re: Все вопросы по robots.txt

Новый сайт, статей уникальных почти 50, гугл за 4 дня проиндексировал от силы 10 статей и 10 других страниц, а теперь все выплюнул и в индексе 6 страниц. Виной возраст сайта или проблема скорее в другом? Роботс (вордпресс) выглядит так:

Цитата:
User-agent: *
Disallow: /wp-admin/
Disallow: /?p=
Disallow: /?s=
Disallow: /search
Disallow: */page/
Disallow: */feed
Disallow: /tag/*/page/
Allow: /wp-admin/admin-ajax.php

Host: https://мой урл
Sitemap: https://мой урл/sitemap.xml
phex вне форума   Ответить с цитированием
Старый 09.09.2017, 13:55   #5
infotime
Студент
 
Регистрация: 06.06.2017
Сообщений: 5
Репутация: 10

По умолчанию Запрет на индексацию постраничной навигации в Битрикс

Всем привет!

Правильный ли запрет на индексацию постраничной навигации в битрикс?

Страницы идут такого типа /?PAGEN_1=2 /?PAGEN_1=3 и тд.

В robots.txt

Disallow: /*?PAGEN
Disallow: /*PAGEN_1=
Disallow: /*PAGEN_2=
Disallow: /*PAGEN_3=
Disallow: /*PAGEN_4=
Disallow: /*PAGEN_5=
Disallow: /*PAGEN_6=
Disallow: /*PAGEN_7=
infotime вне форума   Ответить с цитированием
Старый 09.09.2017, 14:10   #6
Ingref
SEO-аудиты: ingref@ya.ru
 
Аватар для Ingref
 
Регистрация: 05.09.2007
Сообщений: 2,669
Репутация: 116884

По умолчанию Re: Запрет на индексацию постраничной навигации в Битрикс

Правильно так:

Disallow: /*?PAGEN_*=
Disallow: /*&PAGEN_*=
__________________
Сайт не лезет в топ? Сделаю аудит без воды всего за 8000 рублей!
Отзывы клиентов тут, почта для связи: ingref@ya.ru
Посмотрю, в чём проблема с вашим сайтом, за 100 рублей.
Ingref вне форума   Ответить с цитированием
Старый 09.09.2017, 14:59   #7
infotime
Студент
 
Регистрация: 06.06.2017
Сообщений: 5
Репутация: 10

По умолчанию Re: Запрет на индексацию постраничной навигации в Битрикс

Цитата:
Сообщение от Ingref Посмотреть сообщение
Правильно так:

Disallow: /*?PAGEN_*=
Disallow: /*&PAGEN_*=
Спасибо!....
infotime вне форума   Ответить с цитированием
Старый 09.09.2017, 16:58   #8
Miha Kuzmin (KMY)
Аудиты, консультации
 
Аватар для Miha Kuzmin (KMY)
 
Регистрация: 05.05.2003
Адрес: Чехов
Сообщений: 30,346
Репутация: 2051621

По умолчанию Re: Все вопросы по robots.txt

Цитата:
Сообщение от phex Посмотреть сообщение
Виной возраст сайта или проблема скорее в другом?
Зайти в вебмастер и посмотреть религия не позволяет?
Miha Kuzmin (KMY) на форуме   Ответить с цитированием
Старый 18.09.2017, 18:52   #9
Radrigo
Дипломник
 
Регистрация: 01.12.2012
Сообщений: 56
Репутация: 3766
Отправить сообщение для Radrigo с помощью ICQ Отправить сообщение для Radrigo с помощью Skype™
Социальные сети Профиль в ВКонтакте

По умолчанию Запрет дублей в robots.txt

Всем привет.

Подскажите, как правильно закрыть для индексации все страницы для печати в движке DLE в robots.txt?

Страницы для печати имеют примерно такие ссылки
PHP код:
у новостей
sait
.ru/news/obshestvo/print:page,1,9508-test-test.html
у статистических страниц
sait
.ru/print:test.html 
Какой вариант будет правильнее?

Disallow: *print:*
Disallow: /*print:
Disallow: /*print:*

Или может как то по другому?
Radrigo вне форума   Ответить с цитированием
Старый 20.09.2017, 14:43   #10
manic
хмурый
 
Аватар для manic
 
Регистрация: 09.12.2008
Адрес: Москва
Сообщений: 434
Репутация: 37513
Отправить сообщение для manic с помощью ICQ

По умолчанию Re: Запрет дублей в robots.txt

Цитата:
Сообщение от Radrigo Посмотреть сообщение
Какой вариант будет правильнее?
Или может как то по другому?
Именно для этих двух страниц сработает такая директива:
Код:
Disallow: /*print
А проверить, стали ли они запрещены в роботсе можно в Вебмастере Яндекса https://webmaster.yandex.ru/site/tools/robotstxt/ (выберите нужный сайт) и потом в это поле http://take.ms/VqJuN вставьте те страницы, которые хотите запретить и увидете результат.
manic вне форума   Ответить с цитированием
Ответ

Метки
clean , param , robots , seo




Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Текущее время: 11:25. Часовой пояс GMT +3.

Регистрация Справка Календарь Поддержка Все разделы прочитаны