Форум Сайтостроение Веб-строительство

Как закрыть архивы

12
[Удален]
1076

Подскажите как закрыть архивы вида сайт /2014/07 в роботс и нужно ли их вообще закрывать. И как сделать чтобы были открыты комментарии для индексирования. Мой роботс:

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /*?*

Disallow: /tag

Disallow: /comments

Disallow: /?s=

Disallow: */attachment/*

Disallow: */page/*

Disallow: /archives/2013/

Disallow: /archives/2014/

Disallow: /xmlrpc.php

Allow: /wp-content/uploads

# Google Image

User-agent: Googlebot-Image

Disallow:

Allow: /*

User-agent: Yandex

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /*?*

Disallow: /tag

Disallow: /?s=

Disallow: /comments

Disallow: */attachment/*

Disallow: */page/*

Disallow: /archives/2013/

Disallow: /archives/2014/

Disallow: /xmlrpc.php

Allow: /wp-content/uploads

Host: derevenskiyaybolit.ru

Sitemap: http://derevenskiyaybolit.ru/sitemap.xml.gz

Sitemap: http://derevenskiyaybolit.ru/sitemap.xml

P
На сайте с 25.05.2014
Offline
15
positiveseo
#1

Не те архивы.. 10 символов

[Удален]
#2

у вас закрыты уже.

[Удален]
#3
UliyanaS22:
у вас закрыты уже.

А почему же они присутствуют в индексе. Смотрел в яндекс вебмастер. Пару месяцев назад поменял шаблон. Стоял баблик, купил платный. Может это влиять как то? По датам совпадает, архивы появляются в индексе как раз за май, июнь, июль. Других архивов в индексе нет

---------- Добавлено 08.07.2014 в 19:31 ----------

positiveseo:
# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /
Если можно, что обозначает эта строчка и куда ее лучше вставить?
Google запустил новый Indexing Google приступил к плавному Мэтт Каттс ушёл из
P
На сайте с 25.05.2014
Offline
15
positiveseo
#4
aleksei1976:
А почему же они присутствуют в индексе. Смотрел в яндекс вебмастер. Пару месяцев назад поменял шаблон. Стоял баблик, купил платный. Может это влиять как то? По датам совпадает, архивы появляются в индексе как раз за май, июнь, июль. Других архивов в индексе нет

---------- Добавлено 08.07.2014 в 19:31 ----------

positiveseo:
# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /
Если можно, что обозначает эта строчка и куда ее лучше вставить?

Не дочитал :) Это веб архивы, а не ваши.
[Удален]
#5
positiveseo:
aleksei1976:
А почему же они присутствуют в индексе. Смотрел в яндекс вебмастер. Пару месяцев назад поменял шаблон. Стоял баблик, купил платный. Может это влиять как то? По датам совпадает, архивы появляются в индексе как раз за май, июнь, июль. Других архивов в индексе нет

---------- Добавлено 08.07.2014 в 19:31 ----------


Не дочитал :) Это веб архивы, а не ваши.


А с моими что делать?
[Удален]
#6

Спасибо за помощь всем! Помогли блин писец как. Сразу видно здесь обитают СПЕЦИАЛИСТЫ!!!!!!!!!!!!!!!!!!!!!!!!!!! А всего то нужно было поменять строчку Disallow: /archives/2013/ на Disallow: /2013/ - именно она закрывает архивы по месяцам за год. Че никто не в курсе на этом форуме что ли? Слов нет, одни матюшки!

Google: ссылки на похожие Объём поисковых запросов с Дзен закрывает программы поддержки
siv1987
На сайте с 02.04.2009
Offline
427
siv1987
#7

А самому трудно догадаться, обязательно чтобы ткнули носом? А если не ткнули, обязательно ныть почему этого не сделали?

У яндекса есть инструмент для анализа роботса, никто вам не мешает им воспользоваться http://webmaster.yandex.ru/robots.xml

[Удален]
#8
siv1987:
А самому трудно догадаться, обязательно чтобы ткнули носом? А если не ткнули, обязательно ныть почему этого не сделали?
У яндекса есть инструмент для анализа роботса, никто вам не мешает им воспользоваться http://webmaster.yandex.ru/robots.xml

И что мне этот инструмент дает? Он мне укажет как закрыть архивы? Он показывает только с какой строки по какую учитывает яндекс robots txt на сайте.

domen4you
На сайте с 08.03.2013
Offline
53
domen4you
#9

Прости нас, Лёха, сами не ведаем что творим...

siv1987
На сайте с 02.04.2009
Offline
427
siv1987
#10
aleksei1976:
Он мне укажет как закрыть архивы?

Если есть руки и голова то покажет http://webmaster.yandex.ru/robots.xml?hostname=site.ru&robotstxt=User-agent%3A+%2A%0D%0ADisallow%3A+%2Farchive%2F2014%2F%0D%0ADisallow%3A+%2F2014%2F%0D%0A&urls=%2F2014%2F07

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий