Индексирует то, что нельзя в robots.txt почему? - Форум об интернет-маркетинге
Этот сайт существует на доходы от рекламы.
Пожалуйста, выключите AdBlock.
Старый 10.01.2015, 15:51   #1
Дипломник
 
Регистрация: 05.01.2015
Сообщений: 55
Репутация: 10

Smile Индексирует то, что нельзя в robots.txt почему?

Приведу пример своего robots.txt , у меня в google много страниц с /2015/01/ к примеру таких. Скажите пожалуйста правильно ли у меня составлен этот файл, и что сделать с Google? Я тут много чего понаписал, может лишнего. Укажите что не правильно?
Цитата:
User-agent: Yandex
Disallow: /user/
Disallow: /*page/
Disallow: /tags/
Disallow: /2015/
Disallow: /2013/
Disallow: /2014/
Disallow: /201*/
Disallow: *thumb
Disallow: /*/tags/
Disallow: /cache/
Disallow: /catalog/
Disallow: /lastnews/
Disallow: /language/
Disallow: /newposts/
Disallow: /favorites/
Disallow: /*print
Disallow: /index.php?action=mobile
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /engine/download.php
Host: http://site.ru

User-agent: *
Disallow: /backup/
Disallow: /*page/
Disallow: /tags/
Disallow: /201*/
Disallow: /2015/
Disallow: /2013/
Disallow: /2014/
Disallow: /*/tags/
Disallow: *thumb
Disallow: /cache/
Disallow: /catalog/
Disallow: /lastnews/
Disallow: /language/
Disallow: /newposts/
Disallow: /favorites/
Disallow: /*print
Disallow: /index.php?action=mobile
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /user/
Disallow: /engine/
Disallow: /language/
Disallow: /upgrade/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /engine/download.php

Sitemap: http://site.ru/sitemap.xml
Dolst вне форума   Ответить с цитированием

Реклама
Старый 10.01.2015, 20:52   #2
k_topolyan
Аспирант
 
Регистрация: 23.12.2014
Сообщений: 126
Репутация: 14037
Социальные сети

По умолчанию Re: Индексирует то, что нельзя в robots.txt почему?

Зачем вы пишите все это дважды? Хватит и "User-agent: *", не надо дублировать отдельно для яндекса.
А с гуглом такое бывает, т.к. по его мнению это всего лишь совет, а не правило. Дополнительно можно прописать метатег noindex на ненужных страницах.
k_topolyan вне форума   Ответить с цитированием
Старый 10.01.2015, 23:39   #3
easywind
Академик
 
Регистрация: 21.09.2009
Адрес: казахстан
Сообщений: 3,500
Репутация: 97542

По умолчанию Re: Индексирует то, что нельзя в robots.txt почему?

Dolst, читайте
https://support.google.com/webmaster...er/93710?hl=ru
для гугла закрыть в роботс, это только запретить сканирование.
easywind вне форума   Ответить с цитированием
Старый 10.01.2015, 23:56   #4
Wadim
Раскручиваю сайты
 
Регистрация: 04.04.2006
Сообщений: 2,157
Репутация: 218489
Отправить сообщение для Wadim с помощью ICQ Отправить сообщение для Wadim с помощью Skype™

По умолчанию Re: Индексирует то, что нельзя в robots.txt почему?

Цитата:
Сообщение от k_topolyan Посмотреть сообщение
А с гуглом такое бывает, т.к. по его мнению это всего лишь совет, а не правило. Дополнительно можно прописать метатег noindex на ненужных страницах.
Для Гугла?
Wadim вне форума   Ответить с цитированием
Старый 11.01.2015, 09:56   #5
vanred79
Дипломник
 
Аватар для vanred79
 
Регистрация: 12.01.2013
Сообщений: 72
Репутация: 6733
Отправить сообщение для vanred79 с помощью ICQ

По умолчанию Re: Индексирует то, что нельзя в robots.txt почему?

Цитата:
Сообщение от Wadim Посмотреть сообщение
Для Гугла?
Правильно человек говорит вот метатеги для запрета индексации страниц в гугл:
<meta name="robots" content="noindex">
<meta name="googlebot" content="noindex">
https://support.google.com/webmasters/answer/93710?rd=1

Вот этот метатег для запрета индексации текста на странице:
<!--googleoff: all-->текст<!--/googleoff: all-->
__________________
Большой выбор квартир в Алматы посуточно найдете на нашем сайте
vanred79 вне форума   Ответить с цитированием
Старый 11.01.2015, 10:14   #6
Dima3ji
Студент
 
Регистрация: 25.04.2014
Сообщений: 36
Репутация: 1309

По умолчанию Re: Индексирует то, что нельзя в robots.txt почему?

Наверное у вас есть в роботсе ошибка, так бы не индексировал бы.
__________________
Строительные советы от профессионалов.
Dima3ji вне форума   Ответить с цитированием
Старый 11.01.2015, 10:41   #7
IBakalov
bakalov.info
 
Аватар для IBakalov
 
Регистрация: 05.10.2011
Адрес: Нижний Новгород
Сообщений: 1,511
Репутация: 328373
Отправить сообщение для IBakalov с помощью ICQ Отправить сообщение для IBakalov с помощью Skype™
Социальные сети Посмотреть профиль пользователя в МоемКруге Дневник на Я.ру Профиль в ВКонтакте Профиль на Хабрахабре Профиль в LinkedIn

По умолчанию Re: Индексирует то, что нельзя в robots.txt почему?

Цитата:
Сообщение от vanred79 Посмотреть сообщение

Вот этот метатег для запрета индексации текста на странице:
<!--googleoff: all-->текст<!--/googleoff: all-->
Что за бред?
__________________
Предлагаю услуги:
Продвижение сайтов
SEO-аудиты
IBakalov вне форума   Ответить с цитированием
Сказали спасибо 3 пользователей:
Старый 11.01.2015, 11:42   #8
vanred79
Дипломник
 
Аватар для vanred79
 
Регистрация: 12.01.2013
Сообщений: 72
Репутация: 6733
Отправить сообщение для vanred79 с помощью ICQ

По умолчанию Re: Индексирует то, что нельзя в robots.txt почему?

Цитата:
Сообщение от IBakalov Посмотреть сообщение
Что за бред?
Бред который работает. http://google.utk.edu/ut-help/googleongoogleoff/
Со снипетов убирается не нужное, проверено (заключенное в метатег убирается примерно через 2-3 недели).
Спасибо добрым людям, раньше тоже думал что нельзя закрыть текст. http://talk.pr-cy.ru/topic/11125-kak...ot-glaz-gugla/
vanred79 вне форума   Ответить с цитированием
Старый 11.01.2015, 11:50   #9
1tizer.ru
Кандидат наук
 
Регистрация: 09.07.2008
Сообщений: 298
Репутация: 23346

По умолчанию Re: Индексирует то, что нельзя в robots.txt почему?

по опыту скажу - индексирует если есть сильные/много внешних ссылки на эти страницы. А вообще нужно привести robots в божеский вид
1tizer.ru вне форума   Ответить с цитированием
Старый 11.01.2015, 11:51   #10
altezzik
Академик
 
Аватар для altezzik
 
Регистрация: 06.11.2011
Адрес: Интернет
Сообщений: 2,443
Репутация: 309815
Отправить сообщение для altezzik с помощью ICQ

По умолчанию Re: Индексирует то, что нельзя в robots.txt почему?

Цитата:
Сообщение от vanred79 Посмотреть сообщение
Вот этот метатег для запрета индексации текста на странице:
<!--googleoff: all-->текст<!--/googleoff: all-->
Нет желания искать информацию, но уже писали, что этот тег более не работает.
Цитата:
Сообщение от Dolst Посмотреть сообщение
Индексирует то, что нельзя в robots.txt почему?
Потому что роботс - это рекомендация. ПСы могут им не следовать.
altezzik вне форума   Ответить с цитированием
Сказали спасибо:
Ответ




Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Текущее время: 08:34. Часовой пояс GMT +3.

Регистрация Справка Календарь Поддержка Все разделы прочитаны