- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Приведу пример своего robots.txt , у меня в google много страниц с /2015/01/ к примеру таких. Скажите пожалуйста правильно ли у меня составлен этот файл, и что сделать с Google? Я тут много чего понаписал, может лишнего. Укажите что не правильно?
User-agent: Yandex
Disallow: /user/
Disallow: /*page/
Disallow: /tags/
Disallow: /2015/
Disallow: /2013/
Disallow: /2014/
Disallow: /201*/
Disallow: *thumb
Disallow: /*/tags/
Disallow: /cache/
Disallow: /catalog/
Disallow: /lastnews/
Disallow: /language/
Disallow: /newposts/
Disallow: /favorites/
Disallow: /*print
Disallow: /index.php?action=mobile
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /engine/download.php
Host: http://site.ru
User-agent: *
Disallow: /backup/
Disallow: /*page/
Disallow: /tags/
Disallow: /201*/
Disallow: /2015/
Disallow: /2013/
Disallow: /2014/
Disallow: /*/tags/
Disallow: *thumb
Disallow: /cache/
Disallow: /catalog/
Disallow: /lastnews/
Disallow: /language/
Disallow: /newposts/
Disallow: /favorites/
Disallow: /*print
Disallow: /index.php?action=mobile
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /user/
Disallow: /engine/
Disallow: /language/
Disallow: /upgrade/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /engine/download.php
Sitemap: http://site.ru/sitemap.xml
Зачем вы пишите все это дважды? Хватит и "User-agent: *", не надо дублировать отдельно для яндекса.
А с гуглом такое бывает, т.к. по его мнению это всего лишь совет, а не правило. Дополнительно можно прописать метатег noindex на ненужных страницах.
Dolst, читайте
https://support.google.com/webmasters/answer/93710?hl=ru
для гугла закрыть в роботс, это только запретить сканирование.
А с гуглом такое бывает, т.к. по его мнению это всего лишь совет, а не правило. Дополнительно можно прописать метатег noindex на ненужных страницах.
Для Гугла? 😂
Для Гугла? 😂
Правильно человек говорит вот метатеги для запрета индексации страниц в гугл:
<meta name="robots" content="noindex">
<meta name="googlebot" content="noindex">
https://support.google.com/webmasters/answer/93710?rd=1
Вот этот метатег для запрета индексации текста на странице:
<!--googleoff: all-->текст<!--/googleoff: all-->
Наверное у вас есть в роботсе ошибка, так бы не индексировал бы.
Вот этот метатег для запрета индексации текста на странице:
<!--googleoff: all-->текст<!--/googleoff: all-->
Что за бред?
Что за бред?
Бред который работает. http://google.utk.edu/ut-help/googleongoogleoff/
Со снипетов убирается не нужное, проверено (заключенное в метатег убирается примерно через 2-3 недели).
Спасибо добрым людям, раньше тоже думал что нельзя закрыть текст. http://talk.pr-cy.ru/topic/11125-kak-zakryt-tekst-ot-glaz-gugla/
по опыту скажу - индексирует если есть сильные/много внешних ссылки на эти страницы. А вообще нужно привести robots в божеский вид
Вот этот метатег для запрета индексации текста на странице:
<!--googleoff: all-->текст<!--/googleoff: all-->
Нет желания искать информацию, но уже писали, что этот тег более не работает.
Индексирует то, что нельзя в robots.txt почему?
Потому что роботс - это рекомендация. ПСы могут им не следовать.
что не правильно?
Половина. Учи синтаксис роботса. Особое внимание на метасимволы.
Потому что роботс - это рекомендация. ПСы могут им не следовать.
+150!
ТС, матчасть