- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы
Для интернет-магазина инженерных систем
Мария Лосева
подскажите пожалуйста, что добавить в robots чтобы закрыть все страницы, которые содержат /1/page ..... /N/page
Или, /page
Сами урлы такие
сайт.ру/stat/1/page
сайт.ру/stat/2/page
сайт.ру/stat/3/page
Ребят, такая проблемма. Решил закрыть дубли страниц в роботсе, но столкнулся с непонятной для меня проблеммой.
Допустим закрываю я вот такую ссылку:
Disallow: /portfolio.php?work=225&s=1
Проверяю её через "посмотреть как гуглбот" он пишет что она закрыта, всё ОК.
Но! если проверить /portfolio.php?work=225&s=1&ss=3 то она тоже закрыта, и при проверке роботс ссылается на Disallow: /portfolio.php?work=225&s=1
Получается я одним запретом закрыл обе страницы дубля а не одну, как быть в такой ситуации, почему гуглбот не учитывает точное вхождение ссылки?
Вот роботс на васякий случай - bandesign.ru/robots.txt
Попробуйте так
Disallow: /portfolio.php?work=225&s=1$
Будет точно вхождение. Работает для Я и G
Полезная страничка на тему:
https://support.google.com/webmasters/answer/6062596?hl=ru&ref_topic=6061961
---------- Добавлено 12.02.2016 в 13:21 ----------
подскажите пожалуйста, что добавить в robots чтобы закрыть все страницы, которые содержат /1/page ..... /N/page
Или, /page
Сами урлы такие
сайт.ру/stat/1/page
сайт.ру/stat/2/page
сайт.ру/stat/3/page
Если отталкиваться от примера
Disallow: /stat/*/page
Либо просто:
Disallow: */page
Магазин на друпале, картина в вебмастере:
Проиндексировано всего
682
Заблокировано в файле robots.txt
549
Роботс:
# Directories
Disallow: /includes/
Disallow: /profiles/
Disallow: /scripts/
Disallow: /themes/
Disallow: /node/
Disallow: /taxonomy/
Disallow: /user/
# Files
Disallow: /CHANGELOG.txt
Disallow: /cron.php
Disallow: /INSTALL.mysql.txt
Disallow: /INSTALL.pgsql.txt
Disallow: /INSTALL.sqlite.txt
Disallow: /install.php
Disallow: /INSTALL.txt
Disallow: /LICENSE.txt
Disallow: /MAINTAINERS.txt
Disallow: /update.php
Disallow: /UPGRADE.txt
Disallow: /xmlrpc.php
# Paths (clean URLs)
Disallow: /admin/
Disallow: /comment/reply/
Disallow: /filter/tips/
Disallow: /node/add/
Disallow: /search/
Disallow: /user/register/
Disallow: /user/password/
Disallow: /user/login/
Disallow: /user/logout/
# Paths (no clean URLs)
Disallow: /?q=admin/
Disallow: /?q=comment/reply/
Disallow: /?q=filter/tips/
Disallow: /?q=node/add/
Disallow: /?q=search/
Disallow: /?q=user/password/
Disallow: /?q=user/register/
Disallow: /?q=user/login/
Disallow: /?q=user/logout/
User-agent: Yandex
# Directories
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /profiles/
Disallow: /scripts/
Disallow: /themes/
Disallow: /node/
Disallow: /taxonomy/
Disallow: /user/
# Files
Disallow: /CHANGELOG.txt
Disallow: /cron.php
Disallow: /INSTALL.mysql.txt
Disallow: /INSTALL.pgsql.txt
Disallow: /INSTALL.sqlite.txt
Disallow: /install.php
Disallow: /INSTALL.txt
Disallow: /LICENSE.txt
Disallow: /MAINTAINERS.txt
Disallow: /update.php
Disallow: /UPGRADE.txt
Disallow: /xmlrpc.php
# Paths (clean URLs)
Disallow: /admin/
Disallow: /comment/reply/
Disallow: /filter/tips/
Disallow: /node/add/
Disallow: /search/
Disallow: /user/register/
Disallow: /user/password/
Disallow: /user/login/
Disallow: /user/logout/
# Paths (no clean URLs)
Disallow: /?q=admin/
Disallow: /?q=comment/reply/
Disallow: /?q=filter/tips/
Disallow: /?q=node/add/
Disallow: /?q=search/
Disallow: /?q=user/password/
Disallow: /?q=user/register/
Disallow: /?q=user/login/
Disallow: /?q=user/logout/
Подскажите где косяк, товарищи?
Подозреваю что в /node/ , но у меня ЧПУ...
В яндексе всё нормально.
User-Agent: Yandex
Disallow: /cgi-bin
Disallow: /search
Disallow: /svyaz
Disallow: /forma-obratnoy-svyazi
Disallow: /respect
Disallow: /skidka-kupon/
Disallow: /katalog/order/
Disallow: /katalog/cart/
host: www.мойсайт.ru
User-Agent: Googlebot
Disallow: /cgi-bin
Disallow: /search
Disallow: /svyaz
Disallow: /forma-obratnoy-svyazi
Disallow: /respect
Disallow: /skidka-kupon/
Disallow: /katalog/order/
Disallow: /katalog/cart/
host: www.мойсайт.ru
указываю для яндекса и для гугл правила , а яндекс пишет типо ошибка и два хоста нельзя , это получается для гугл не должен ставить хост???
Получается, что да, не должен.
Посмотри как реализовано на других сайтах, есть еще где то два хоста?
Eltd, Для гугла делать отдельный не надо он и так все понимает. А для остальных где???
Правильней будет сделать так:
User-agent: *
и тд... все как у вас.
без Host:
User-agent: Yandex
Host: мойсайт.ru
и тд... все как у вас.
Можно, но робот будет использовать только первую.
Вот сразу заметно что яша самый умный (((((((((( и достался же русским такой .....😡
з.ы. всем спасибо
Eltd, Получается что он самый тупой, для всех стандартного роботса хватает а яшке подавай отдельный))
Насчет моего роботса кто-нибудь что-нибудь скажет?))