Все вопросы по robots.txt - Страница 87 - Форум об интернет-маркетинге
Этот сайт существует на доходы от рекламы.
Пожалуйста, выключите AdBlock.
Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 05.01.2017, 19:54   #861
Chelsea
Аспирант
 
Регистрация: 30.01.2013
Сообщений: 209
Репутация: 1883

По умолчанию Re: Как задать Host в роботс на сайте с https (ssl)?

Цитата:
Сообщение от Buch777 Посмотреть сообщение
с https
10 символов
А что за ограничение в 10 символов? Можно подробнее? Благодарю!
Chelsea вне форума   Ответить с цитированием

Реклама
Старый 05.01.2017, 20:17   #862
Conan Varvar
Гарант
 
Аватар для Conan Varvar
 
Регистрация: 06.11.2011
Сообщений: 2,934
Репутация: 326551
Отправить сообщение для Conan Varvar с помощью ICQ

По умолчанию Re: Как задать Host в роботс на сайте с https (ssl)?

Цитата:
Сообщение от Chelsea Посмотреть сообщение
А что за ограничение в 10 символов? Можно подробнее? Благодарю!

Это ограничение форума, чтобы сообщение было не короче 10 символов. К вашему вопросу не имеет отношения)

вопрос был на предыдущей странице, никто не подскажет? http://searchengines.guru/showpost.p...&postcount=856
__________________
1. Нужен качественный трафик? Лучшие тизерные сети!
2. Лучший хостинг сайтов!!
3. Лей на Виагру на свой шоп!! Инвайт GegrMwrJEdLnyzV4
Conan Varvar вне форума   Ответить с цитированием
Старый 16.01.2017, 16:23   #863
Goodwill-ekb
Студент
 
Регистрация: 15.12.2016
Сообщений: 9
Репутация: 10

По умолчанию Re: Все вопросы по robots.txt

Добрый день. Есть вопрос.
Есть 15 ссылок котрые нужно закрыть от индексации в robots.txt

Как видно все эти ссылки почти одинаковые, отличаются только id категории и товаров

Вопрос: можно ли в robots.txt закрыть одной строчкой доступ к этим ссылкам? или в роботс нужно вносить вносить все 15 ссылок?

Вот эти ссылки:

http://mamamango.ru/index.php?page=s...mid=59&option=

http://mamamango.ru/index.php?page=s...mid=59&option=

http://mamamango.ru/index.php?page=s...mid=59&option=

http://mamamango.ru/index.php?page=s...mid=59&option=

http://mamamango.ru/index.php?page=s...mid=59&option=

http://mamamango.ru/index.php?page=s...mid=59&option=

http://mamamango.ru/index.php?page=s...mid=59&option=

http://mamamango.ru/index.php?page=s...mid=59&option=

http://mamamango.ru/index.php?page=s...mid=59&option=

http://mamamango.ru/index.php?page=s...mid=59&option=


http://mamamango.ru/index.php?page=s...mid=59&option=


http://mamamango.ru/index.php?page=s...mid=59&option=


http://mamamango.ru/index.php?page=s...mid=59&option=


http://mamamango.ru/index.php?page=s...mid=59&option=


http://mamamango.ru/index.php?page=s...mid=59&option=
Goodwill-ekb вне форума   Ответить с цитированием
Старый 19.01.2017, 22:25   #864
dava002
Студент
 
Регистрация: 12.11.2016
Адрес: Уфа
Сообщений: 8
Репутация: 10

По умолчанию Re: Все вопросы по robots.txt

Нужно ли закрывать от индексации папку с кэшем изображений? Если нет, то при очистке кэша будет 404 ошибка
dava002 вне форума   Ответить с цитированием
Старый 01.02.2017, 13:21   #865
joost
Особый статус
 
Регистрация: 08.06.2006
Сообщений: 5,081
Репутация: -115720

По умолчанию Re: Все вопросы по robots.txt

Сам robots.txt

Цитата:
User-agent: *
Disallow: /
Allow: /$
Allow: /shopr/*/?priceMin=*&priceMax=*&vendor[]=*&offerID[]=*$
Allow: /shopr/*/?priceMin=*&priceMax=*&vendor[]=*&goodsAttrs[*][]=*$
Цитата:
http://site.ru/shopr/bolero/?priceMin=&priceMax=&vendor[]=Bebe&goodsAttrs[1][]=68
http://site.ru/shopr/bolero/?priceMin=&priceMax=&vendor[]=Bebe&offerID[]=4102&goodsAttrs[1][]=68
Второй урл должен "закрывать" от индексации, но по данным _https://webmaster.yandex.ru/tools/robotstxt/
оба для индексации доступны.

Как поправить robots.txt, чтобы таки второй урл был закрыт от индексации?

Спасибо!
joost вне форума   Ответить с цитированием
Старый 02.02.2017, 19:32   #866
1vanoff
Аспирант
 
Регистрация: 11.02.2015
Сообщений: 142
Репутация: 4830

По умолчанию robots.txt

Мне нужно чтобы гугл выкинул сайт с выдачи, а яндекс и другие пс чтобы и дальше проверяли сайт, подскажите плз правильно ли я настроил robots.txt:

User-agent: *
Disallow: /engine/
Disallow: /engine/go.php
Disallow: /backup/
Disallow: /user/
Disallow: /admin.php
Disallow: /profile/*
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /reviews/
Disallow: /comment*
Disallow: /index.php?do*
Disallow: /index.php?alfpage*
Disallow: /index.php?alfpage*
Disallow: /index.php?cstart*
Disallow: /?do*
Disallow: /print*
Disallow: /tags/
Disallow: /?newsid*
Disallow: /index.php?newsid*
Disallow: /forum/index.php?app=core
Disallow: /forum/index.php?app=forums
Disallow: /forum/index.php?app=members
Disallow: /forum/user
Disallow: /forum/members/
Disallow: /?from=

Sitemap: http://site.com/sitemap.xml
Host: site.com

User-agent: Googlebot
Disallow: /

Последний раз редактировалось 1vanoff; 02.02.2017 в 19:45..
1vanoff вне форума   Ответить с цитированием
Старый 03.02.2017, 01:22   #867
Petr M.
Где кнопка?
 
Регистрация: 05.04.2007
Сообщений: 57
Репутация: 400
Отправить сообщение для Petr M. с помощью ICQ Отправить сообщение для Petr M. с помощью Skype™

По умолчанию Re: robots.txt

Да, только еще вот этих ботов пропиши:
Googlebot-Image
Mediapartners-Google
Petr M. вне форума   Ответить с цитированием
Сказали спасибо:
Старый 03.02.2017, 02:14   #868
AlexStep
Академик
 
Аватар для AlexStep
 
Регистрация: 24.03.2009
Сообщений: 1,640
Репутация: 188395

По умолчанию Re: robots.txt

Цитата:
Сообщение от 1vanoff Посмотреть сообщение
Мне нужно чтобы гугл выкинул сайт с выдачи
Есть вероятность что не выкинет, Гугл вертел эти Disallow на своем поисковом индексе
AlexStep на форуме   Ответить с цитированием
Сказали спасибо:
Старый 06.02.2017, 18:31   #869
sea_dream
Аспирант
 
Аватар для sea_dream
 
Регистрация: 03.05.2012
Сообщений: 237
Репутация: 1043
Отправить сообщение для sea_dream с помощью ICQ Отправить сообщение для sea_dream с помощью Skype™
Социальные сети Страница в Одноклассниках Профиль в ВКонтакте

По умолчанию Ваше мнение по robots,txt

Если блог на WordPress и для индексирования нужны только сами статьи с картинками в низ, не проще ли такой файл robots сделать:
User-agent: *
Disallow: /
Allow: /?p=*
__________________
Ищу для совместной работы дизайнера, верстальщика, копирайтера, для реализации совместных проектов - Создание сайтов
sea_dream вне форума   Ответить с цитированием
Старый 06.02.2017, 20:27   #870
Alex_SEOHARD
Дипломник
 
Регистрация: 26.12.2016
Сообщений: 92
Репутация: 5564

По умолчанию Re: Ваше мнение по robots,txt

дело в том, что протокол robots - это протокол исключений

то есть вы указываете, что сканировать/индексировать нельзя; остальное воспринимается как разрешенное.

поэтому нельзя так делать

принято давать запреты на краулинг/индексацию таксономий, рекомендую этот вариант


Sent from my iPhone using Tapatalk
__________________
SEO блог для начинающих:
- YouTube канал | SEOHARD.COM | Facebook
Подпишись, будем расти вместе!
Alex_SEOHARD вне форума   Ответить с цитированием
Ответ

Метки
https, robots, robots.txt, seo, ssl сертификат, wordpress, алиасы, запрет, поддомены, роботс, товар




Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Текущее время: 01:43. Часовой пояс GMT +3.

Регистрация Справка Календарь Поддержка Все разделы прочитаны