Индексирует то, что нельзя в robots.txt почему?

12 3
D
На сайте с 05.01.2015
Offline
7
3476

Приведу пример своего robots.txt , у меня в google много страниц с /2015/01/ к примеру таких. Скажите пожалуйста правильно ли у меня составлен этот файл, и что сделать с Google? Я тут много чего понаписал, может лишнего. Укажите что не правильно?


User-agent: Yandex
Disallow: /user/
Disallow: /*page/
Disallow: /tags/
Disallow: /2015/
Disallow: /2013/
Disallow: /2014/
Disallow: /201*/
Disallow: *thumb
Disallow: /*/tags/
Disallow: /cache/
Disallow: /catalog/
Disallow: /lastnews/
Disallow: /language/
Disallow: /newposts/
Disallow: /favorites/
Disallow: /*print
Disallow: /index.php?action=mobile
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /engine/download.php
Host: http://site.ru

User-agent: *
Disallow: /backup/
Disallow: /*page/
Disallow: /tags/
Disallow: /201*/
Disallow: /2015/
Disallow: /2013/
Disallow: /2014/
Disallow: /*/tags/
Disallow: *thumb
Disallow: /cache/
Disallow: /catalog/
Disallow: /lastnews/
Disallow: /language/
Disallow: /newposts/
Disallow: /favorites/
Disallow: /*print
Disallow: /index.php?action=mobile
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /user/
Disallow: /engine/
Disallow: /language/
Disallow: /upgrade/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /engine/download.php

Sitemap: http://site.ru/sitemap.xml
ОТ ЕДЫ, ДО ПОЛИТИКИ! - Новости, обзоры, статьи (http://dolgonews.ru)
KT
На сайте с 23.12.2014
Offline
20
#1

Зачем вы пишите все это дважды? Хватит и "User-agent: *", не надо дублировать отдельно для яндекса.

А с гуглом такое бывает, т.к. по его мнению это всего лишь совет, а не правило. Дополнительно можно прописать метатег noindex на ненужных страницах.

E
На сайте с 21.09.2009
Offline
283
#2

Dolst, читайте

https://support.google.com/webmasters/answer/93710?hl=ru

для гугла закрыть в роботс, это только запретить сканирование.

W
На сайте с 04.04.2006
Offline
257
#3
k_topolyan:

А с гуглом такое бывает, т.к. по его мнению это всего лишь совет, а не правило. Дополнительно можно прописать метатег noindex на ненужных страницах.

Для Гугла? 😂

раскрутка сайта - оставить заявку (http://www.prof-raskrutka.ru) бесплатные аудиты и консультации по раскрутке cайтов, недорогая раскрутка сайтов - от 10 000р. (/ru/forum/825038)
vanred79
На сайте с 12.01.2013
Offline
42
#4
Wadim:
Для Гугла? 😂

Правильно человек говорит вот метатеги для запрета индексации страниц в гугл:

<meta name="robots" content="noindex">

<meta name="googlebot" content="noindex">

https://support.google.com/webmasters/answer/93710?rd=1

Вот этот метатег для запрета индексации текста на странице:

<!--googleoff: all-->текст<!--/googleoff: all-->

Большой выбор квартир в Алматы посуточно найдете на нашем сайте (https://nedvizhimostpro.kz/page/47)
D3
На сайте с 25.04.2014
Offline
17
#5

Наверное у вас есть в роботсе ошибка, так бы не индексировал бы.

Строительные советы (http://kepstroy.ru/yasitemap/) от профессионалов.
IBakalov
На сайте с 05.10.2011
Offline
205
#6
vanred79:


Вот этот метатег для запрета индексации текста на странице:
<!--googleoff: all-->текст<!--/googleoff: all-->

Что за бред?

Ты SEOшник/Дорвейщик/Вебмастер из Нижнего Новгорода? Вступай в группу на facebook.com (https://www.facebook.com/groups/1541112245943308/), будем устраивать offline-сходки.
vanred79
На сайте с 12.01.2013
Offline
42
#7
IBakalov:
Что за бред?

Бред который работает. http://google.utk.edu/ut-help/googleongoogleoff/

Со снипетов убирается не нужное, проверено (заключенное в метатег убирается примерно через 2-3 недели).

Спасибо добрым людям, раньше тоже думал что нельзя закрыть текст. http://talk.pr-cy.ru/topic/11125-kak-zakryt-tekst-ot-glaz-gugla/

1R
На сайте с 09.07.2008
Offline
108
#8

по опыту скажу - индексирует если есть сильные/много внешних ссылки на эти страницы. А вообще нужно привести robots в божеский вид

altezzik
На сайте с 06.11.2011
Offline
247
#9
vanred79:
Вот этот метатег для запрета индексации текста на странице:
<!--googleoff: all-->текст<!--/googleoff: all-->

Нет желания искать информацию, но уже писали, что этот тег более не работает.

Dolst:
Индексирует то, что нельзя в robots.txt почему?

Потому что роботс - это рекомендация. ПСы могут им не следовать.

SV
На сайте с 03.11.2008
Online
1384
#10
Dolst:
что не правильно?

Половина. Учи синтаксис роботса. Особое внимание на метасимволы.

altezzik:
Потому что роботс - это рекомендация. ПСы могут им не следовать.

+150!

ТС, матчасть

Делаю хорошие сайты хорошим людям. Предпочтение коммерческим направлениям. Топики помощи с ⓌordPress (https://searchengines.guru/ru/forum/1032910 ) и основы безопасности сайтов ( https://searchengines.guru/ru/forum/774117 ). *** Помощь\консультации в топиках форума - БЕСПЛАТНО. Платные услуги ( https://wp.me/P3YHjQ-3 ) - с бюджетом от 150$ ***
12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий