Посмотрите, правильно ли вы написали роботс через директорию. Пропишите путь к таким страницам в панель вебмастера - Вопросы новичков в SEO

71

istore

24 июня 2012, 14:33

#11

Скажите, пожалуйста, как правильно прописать путь к таким страницам в robots.txt Нигде не могу найти точной инструкции. Я боюсь, если прописать путь с директорией, он и ее не будет индексировать.

A

53

ateist

24 июня 2012, 18:27

#12

istore:
как правильно прописать путь к таким страницам в robots.txt

Каким-таким? Выражайтесь яснее, глядишь - помогут...

Яндекс. Помощь вебмастеру. (http://help.yandex.ru/webmaster/for-webmasters/contents.xml)

I

71

istore

24 июня 2012, 19:49

#13

К страницам на скриншоте в первом моем сообщении.

Я прописала вот так, посмотрите, правильно ли. Мне кажется, нет. Но инструкция в Вебмастере мне не очень помогла.

Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: */trackback
Disallow: /memberlist.php
Disallow: /*?pview=*
Disallow: /forum1/
Disallow: /category/
Disallow: /inbox/
Disallow: /profile/
Disallow: /tag/
Disallow: /2008/
Disallow: /2009/
Disallow: /2010/
Disallow: /2011/
Disallow: /2012/
Disallow: /attachment/
Disallow: /author/
Disallow: /account/
Disallow: /activity/
Disallow: /directory/
Disallow: /login/
Disallow: /js/
Disallow: /search/
Disallow: /?s=
Disallow: /wp-login.php
Disallow: /xmlrpc.php?rsd
Disallow: /%D1%81%D0%B0%D0%B9%D1%82%D1%8B-%D0%B4%D1%80%D1%83%D0%B7%D1%8C%D1%8F/feed/
Disallow: /&post=4407858_1790
Disallow: /?p=121&pview=report&f=3
Disallow: /?p=121&pview=viewtopic
Disallow: /?p=125&pview=report&f=3
Disallow: /?p=2146
Disallow: /?p=3902
Disallow: /?p=4603
Disallow: /?p=4635
Disallow: /?page_id=138&pview=report&f=3
Disallow: /?page_id=138&pview=viewtopic
Disallow: /blinks/
Disallow: /11310937790/
Disallow: /11411320502548/
Disallow: /12871339186833/
Disallow: /13411328038785/
Disallow: /1531306421034/
Disallow: /15541331663174/
Disallow: /16291334149013/
Disallow: /16351334355498/
Disallow: /20581339764607/
Disallow: /31303383589/
Disallow: /3851305175937/
Disallow: /3851305344979/
Disallow: /3851305352296/
Disallow: /3851305450863/
Disallow: /3851305453403/
Disallow: /41303387078/
Disallow: /4401306575111/
Disallow: /6601316505968/
Disallow: /profile&id=1615
Disallow: /&post=-27477976_1691
Disallow: /&post=-27477976_1920
Disallow: /&post=-27477976_2018
Disallow: /&post=-27477976_2353
Disallow: /7621314255567/
Disallow: /8081315232030/
Disallow: /&post=-31807679_25
Disallow: /catalog/
Disallow: /profile&id=1615
Disallow: /function.session-start
Disallow: /kreml-alco/
Disallow: /kreml-meat/
Disallow: /&post=-27477976_2305
Disallow: /&post=1301494_2572
Disallow: /profile&id=1615
Disallow: /food/razdelno/&post=1153314_3632
Disallow: /profile&id=1615
Disallow: /&post=-27477976_1683
Disallow: /&post=1301494_2500
Disallow: /&post=-27477976_2386
Disallow: /license.txt
Disallow: /news/hello-world/
Disallow: /phpbb3/
Disallow: /pita/
Disallow: /&post=-4736642_157
Disallow: /&post=-4736642_158
Disallow: /profile&id=1615
Disallow: /&post=-27477976_2071
Disallow: /&post=2160415_5054
Disallow: /profile.php
Disallow: /2007/01/post_4.html
Disallow: /readme.html
Disallow: /&post=-27477976_2072
Disallow: /&post=-27477976_1711
Disallow: /&post=169818_3109
Disallow: /&post=-27477976_2294
Disallow: /&post=-27477976_1734
Disallow: /&post=-27477976_1799
Disallow: /&post=-27477976_2245
Disallow: /&post=4407858_1791
Disallow: /&post=4407858_1794
Disallow: /&post=-27477976_2230
Disallow: /&post=4407858_1793
Disallow: /&post=-27477976_2239
Disallow: /&post=-27477976_2402
Disallow: /&post=-27477976_1925
Disallow: /&post=-27477976_2358
Disallow: /&post=4407858_1792
Disallow: /&post=4407858_1790
Disallow: /&post=1301494_2510
Disallow: /&post=-27477976_2361
Disallow: /&post=1301494_2607
Disallow: /function.require
Disallow: /comment-page-1/
Disallow: /?s=до+и+после
Disallow: /1/
Disallow: /?f=5&sid=2d902f18dae4a305b0d2c733708318d6
Disallow: /?f=3&t=4&sid=eb66ebbd665f2908d3fa810a70545880
Disallow: /?f=3&sid=7ed430b69053973448d3a7899c3385b4
Disallow: /?f=3&t=4&sid=40e3f1e610fa46444be74567c1ee4658
Disallow: /?f=3&sid=8d7004f101b4cc2dc6f752d8501fe745
Disallow: /?f=3&t=4&sid=d8ac1d0f41ced14f39d4ea5ee8edcbb8
Disallow: /?f=2&sid=8d7004f101b4cc2dc6f752d8501fe745
Disallow: /?f=2&t=2&sid=23814e612ede0c4e4cb1434c0d55279e
Disallow: /?f=3&sid=216c38c8bec369b483643f1758b9e3ce
Disallow: /?pview=viewtopic&f=2
Disallow: /?pview=viewtopic&f=2&t=4
Disallow: /?f=5&sid=8d7004f101b4cc2dc6f752d8501fe745
Disallow: /?f=5&t=3&sid=d42785411728e3675aea200283b36b8c
Disallow: /?f=3&sid=68db4fdb412dd0b08993dd3d709c6707
Disallow: /?f=3&t=5&sid=b9259b222f8698ce2838b9726c6ca867
Disallow: /?f=4&t=7&sid=638443ff0e38a81978b8d226a91a5562
Disallow: /?f=3&sid=4d80e2eefeca2505173894cc7904b839
Disallow: /?f=3&t=4&sid=4957d8dfe7afbf5d5689e705c675e356
Disallow: /?f=3&sid=d1a75bd876ea3418184ed9a311fdd064
Disallow: /?f=3&t=5&sid=f5092caf742a40976eb087433d87be7d
Disallow: /?f=3&t=10&sid=3f85048c1ac3cfd7fe19c076a3b97f58
Disallow: /?f=3&t=5&sid=3f85048c1ac3cfd7fe19c076a3b97f58
Disallow: /?f=2
Disallow: /?f=2&sid=37e9bcf59b719452c4510c7fcbf41544
Disallow: /?f=4&sid=3c0ed8219a8758a1c996b2e0a0088823
Disallow: /?f=4&t=7&sid=d512ecc9468784ac4b8f0aac544fa920
Disallow: /?f=3&sid=f377c5b387c2eca011d9ba82d30bf89d
Disallow: /?f=3&t=4&sid=615ddfe3022fbff42fcffc561c3eb43c
Disallow: /?f=3&sid=3d809613c1e4bfe27cb20f44bed1d534
Disallow: /?f=3&t=10&sid=9601507422c7c93e88d445062901773b
Disallow: /?f=5&sid=3d809613c1e4bfe27cb20f44bed1d534
Disallow: /?f=5&t=3&sid=9601507422c7c93e88d445062901773b
Disallow: /?pview=viewtopic&f=5&t=6
Disallow: /?f=3&sid=b1e48fb1a1204bdc8892c5b06d11a795
Disallow: /?f=3&t=4&sid=3f85048c1ac3cfd7fe19c076a3b97f58
Disallow: /?f=3&sid=928f43933c2d9add371a13f1ee568e43
Disallow: /?f=3&t=5&sid=ec6f706de116cb6cfae7c73897c8a2c7
Disallow: /?f=3&sid=37e9bcf59b719452c4510c7fcbf41544
Disallow: /?f=3&t=12&sid=af34530fa43854901f602f133c99eab6
Disallow: /?mingleforumaction=viewtopic&t=35.1
Disallow: /?mingleforumaction=viewtopic&t=60
Disallow: /?page=1
Disallow: /?sort=new&filter=1d
Disallow: /?sort=new&filter=1m
Disallow: /?sort=new&filter=3d
Disallow: /?sort=new&filter=7d
Disallow: /?sort=new&page=1
Disallow: /?sort=new_posts&filter=1d
Disallow: /?sort=new_posts&filter=1m
Disallow: /?sort=new_posts&filter=3d
Disallow: /?sort=new_posts&filter=7d
Disallow: /?sort=new_posts&page=1
Disallow: /?sort=new_posts&page=2
Disallow: /?pview=report&f=4
Disallow: /chashechku%20-kofe/
Disallow: /?f=2&sid=0b142c7dee134b17ab78e294a7978f66
Disallow: /?f=2&t=2&sid=4c3b6e4320d43fa4a7b1224f1e3b7b65
Disallow: /?pview=viewtopic&f=3&t=7
Disallow: /?ids=3472&trashed=1
Disallow: /?ids=4553&trashed=1
Disallow: /?pview=ucp&i=pm&mode=compose&action=quotepost
Disallow: /?f=2&sid=bc3fd5b14deae5f4503d2e19d238a88b
Disallow: /?pview=viewtopic&f=2
Disallow: /?pview=report&f=5
Disallow: /?pview=ucp&i=pm&mode=compose&action=quotepost
Disallow: /?pview=viewtopic&f=2
Disallow: /?pview=viewtopic&f=2&t=2
Disallow: /?pview=ucp&i=pm&mode=compose&action=quotepost
Disallow: /?pview=viewtopic&f=3&t=3
Disallow: /?pview=report&f=3
Disallow: /?pview=viewtopic
Disallow: /?pview=report&f=5
Disallow: /?trashed=1&ids=3331
Disallow: /?pview=viewtopic&f=3&t=13
Disallow: /153/
Disallow: /178/
Disallow: /180/
Disallow: /181/
Disallow: /37/
Disallow: /?pview=report&f=3
Disallow: /?pview=viewtopic
Disallow: /?pview=report&f=3

427

siv1987

24 июня 2012, 20:10

#14

Я прописала вот так, посмотрите, правильно ли. Мне кажется, нет.

Вы совсем что-ли не хотите думать? Если страницы показываются в панель вебмастера как запрещенные в роботс.тхт? Они потому и показываются что запрещены (!). Все запреты с сессиями уберите, они там абсолютно лишние и бесполезные (вы собрались для каждой сессии писать запрет?), достаточно одного правило /*&sid= или /?f=*&sid=*. И вообще, что все что содержит цифры, т.е. динамичные элементы, лучше заменить на маску (*) если не требуется запретить конкретную страницу.

Этот /&post=-27477976_2294 на /&post=-

хотя он неправильный, адрес не может начаться на /&post= ( site.ru/&post= ), правильно - /*&post=-

Эти /15541331663174/ вообще просто жесть.

И не забудьте проверить составленный роботс http://webmaster.yandex.ru/robots.xml

I

71

istore

24 июня 2012, 20:35

#15

Страницы показываются не как запрещенные в роботс. С чего вы это взяли?

Что касается общих правил. Я уже пару недель назад поставила в роботс вот такое

Disallow: /?pview=

Тем не менее, как вы видите, все страницы, содержащие это, в ошибках и замечаниях на месте так и висят. Возможно, я забыла как раз эту звездочку.

адрес не может начаться на /&post= ( site.ru/&post= ), правильно - /*&post=-

Поэтому я спросила, писать ли целиком через директории

/blogs/15541331663174/ ?

не закроет ли это директорию /blogs/

Например, после взлома в каждой рубрике созданы сотни страниц типа типа

/рубрика/пост/37/

/рубрика/пост/181/

/рубрика/пост/180/

/рубрика/пост/178/

/рубрика/пост/153/

Эти пять цифр одни и те же всегда. Я написала в Роботс

Disallow: /153/

Disallow: /178/

Disallow: /180/

Disallow: /181/

Disallow: /37/

Значит, это неверно. Но никакой подробной инструкции, как писать роботс через Яндекс найти не могу. Причем тут "не хочу думать". У меня нет четкой подробной инструкции. Я бы просто по ней сделала и все.

Вебмастер говорит, что роботс правильный, но вот здесь использован недопустимый символ

Disallow: /?s=до+и+после

427

siv1987

24 июня 2012, 21:11

#16

istore:
Страницы показываются не как запрещенные в роботс. С чего вы это взяли?

Что-то я не понял, в чем тогда конкретно заключается ваш вопрос?

istore:
1) Что это?

Ссылки от разных служебных страниц.

istore:
2) Что с этим делать, чтобы помочь сайту удержаться на плаву?

Запрещать в роботс.тхт. Но лучше вам найти специалиста который отловит эти дубли и правильно составит для них запреты.

istore:
Тем не менее, как вы видите, все страницы, содержащие это, в ошибках и замечаниях на месте так и висят. Возможно, я забыла как раз эту звездочку.

Что конкретно за ошибка написано? Если запрещены к индексации, они и так должны там висеть.

но вот здесь использован недопустимый символ

Disallow: /?s=до+и+после

Не надо таких примеров, приводите точно как выглядит ваш запрет, без всяких "до+и+после".

---------- Добавлено 25.06.2012 в 00:24 ----------

istore:
не закроет ли это директорию /blogs/

Не закроет, читайте элементарную справку по роботс. Disallow /folder1/folder2/ закроет все содержит и начинается на site.ru/folder1/folder2/*, и ничего больше.

---------- Добавлено 25.06.2012 в 00:31 ----------

istore:
Но никакой подробной инструкции, как писать роботс через Яндекс найти не могу. Причем тут "не хочу думать".

http://www.google.ru/search?hl=ru&newwindow=1&client=opera&hs=fWv&rls=ru&channel=suggest&q=robots.txt+yandex&oq=robots.txt+yandex

http://www.google.ru/search?client=opera&rls=ru&q=robots.txt+google&sourceid=opera&ie=utf-8&oe=utf-8&channel=suggest

Так что вы именно не хотите думать. Ведь нету "четкой" инструкции где бы все прям разжевали по букафкам и положили в рот.

I

71

istore

24 июня 2012, 21:37

#17

Не закроет, читайте элементарную справку по роботс. Disallow /folder1/folder2/ закроет все содержит и начинается на site.ru/folder1/folder2/*, и ничего больше.

Здесь вы себе противоречите. Говорите, что не закроет, а потом говорите, что как раз закроет все, содержащее /folder1/

Если запрещены к индексации

В третий раз повторяю, что не запрещены к индексации.

Написала пока вот так.

User-agent: Yandex
Allow: /sitemap/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: */trackback
Disallow: /*?pview=
Disallow: /*?pview=*
Disallow: /forum1/
Disallow: /category/
Disallow: /inbox/
Disallow: /profile/
Disallow: /tag/
Disallow: /2008/
Disallow: /2009/
Disallow: /2010/
Disallow: /2011/
Disallow: /2012/
Disallow: /author/
Disallow: /attachment/
Disallow: /account/
Disallow: /activity/
Disallow: /directory/
Disallow: /login/
Disallow: /js/
Disallow: /search/
Disallow: */feed/
Disallow: /?s=
Disallow: /wp-login.php
Disallow: /xmlrpc.php?rsd
Disallow: /%D1%81%D0%B0%D0%B9%D1%82%D1%8B-%D0%B4%D1%80%D1%83%D0%B7%D1%8C%D1%8F/feed/
Disallow: /*&post=-
Disallow: /*?p=*
Disallow: /*&post=-*
Disallow: /*?p=
Disallow: /*?page_id=
Disallow: /*?page_id=*
Disallow: /blinks/
Disallow: */11310937790/
Disallow: */11411320502548/
Disallow: */12871339186833/
Disallow: */13411328038785/
Disallow: */1531306421034/
Disallow: */15541331663174/
Disallow: */16291334149013/
Disallow: */16351334355498/
Disallow: */20581339764607/
Disallow: */31303383589/
Disallow: */3851305175937/
Disallow: */3851305344979/
Disallow: */3851305352296/
Disallow: */3851305450863/
Disallow: */3851305453403/
Disallow: */41303387078/
Disallow: */4401306575111/
Disallow: */6601316505968/
Disallow: /*profile&id=1615
Disallow: /*profile&id=
Disallow: /*profile&id=*
Disallow: */7621314255567/
Disallow: */8081315232030/
Disallow: */dobro-pozhalovat-v-moj-dnevnik/
Disallow: /catalog/
Disallow: /*function.session-start
Disallow: /license.txt
Disallow: /profile.php
Disallow: /2007/01/post_4.html
Disallow: /readme.html
Disallow: /function.require
Disallow: /comment-page-1/
Disallow: /?s=до+и+после
Disallow: /1/
Disallow: /forum/?page=1
Disallow: /*?f=*
Disallow: /*?f=
Disallow: /forum/?mingleforumaction=viewtopic&t=35.1
Disallow: /forum/?mingleforumaction=viewtopic&t=60
Disallow: /*?sort=new&filter=1d
Disallow: /*?sort=new&filter=1m
Disallow: /*?sort=new&filter=3d
Disallow: /*?sort=new&filter=7d
Disallow: /*?sort=new&page=1
Disallow: /*?sort=new_posts&filter=1d
Disallow: /*?sort=new_posts&filter=1m
Disallow: /*?sort=new_posts&filter=3d
Disallow: /*?sort=new_posts&filter=7d
Disallow: /*?sort=new_posts&page=1
Disallow: /*?sort=new_posts&page=2
Disallow: */chashechku%20-kofe/
Disallow: /*?ids=
Disallow: /*?ids=*
Disallow: /*?trashed=
Disallow: /*?trashed=*
Disallow: */153/
Disallow: */178/
Disallow: */180/
Disallow: */181/
Disallow: */37/

Нашла в одной статье такую рекоммендацию

Disallow: */search.php?*

Сообщит, что не нужно сканировать страницы, которые содержат search.php с чем-то до и чем-то после него. А вы сказали поставить звездочку после слэша. Почему?

427

siv1987

24 июня 2012, 21:47

#18

istore:
Говорите, что не закроет, а потом говорите, что как раз закроет все, содержащее /folder1/

Вы или читаете между строк или еще что хуже... Еще раз внимательно читайте и смотрите в примере, даже специально было выделено черным.

По слогам:

- что содержит и начинается на /folder1/folder2/* (именно в таком порядке, и в таком составе. * любое последовательность символов)

- ничего больше

istore:
В третий раз повторяю, что не запрещены к индексации.

Приведите точный текст с ошибки/замечаний из ЯВ в котором находится список этих ссылок.

---------- Добавлено 25.06.2012 в 01:05 ----------

istore:
В третий раз повторяю, что не запрещены к индексации.

Да это уже просто ЛОЛ какой-то.

Ссылка из вашего списка:

/fitness/figure/?pview=report&f=5

Запрет из роботса

Disallow: /*?pview=

Пожалуйста, впредь не повторяйте десять раз одно и тоже, а читайте что вам люди пишут. А лучшее всего понимается когда теория совмещается с практикой - http://webmaster.yandex.ru/robots.xml Экспериментируйте, составляйте запреты под все возможные вариации УРЛов. Начните с самых простых. Надеюсь, как пользоваться анализатором сами додумайтесь, у меня просто не хватит сил вам объяснить.

I

71

istore

24 июня 2012, 22:09

#19

Весь этот хлам равномерно распределен по

Ресурс не найден (404)

Неверный формат документа

Документ не является каноническим

Причем страницы с одинаковой белибердой после /рубрика/пост/

распределены по всем этим группам совершенно равномерно.

Что касается canonical, я его удалила сейчас через functions.php, потому что WP выставлял его на комментарии и на темы форума. Так что сейчас, видимо, эта группа сильно опустеет, а замечаний еще прибавится. Я хочу, как тут посоветовали, занести весь хлам, который нашел Яндекс в Disallow, но нет знаний, а все статьи в Яндексе совершенно не дают полную инструкцию. В любом случае, после взломов и появления этих бредовых сочетаний график ошибок и замечаний выглядит вот так

gif grra.gif

427

siv1987

24 июня 2012, 22:11

#20

istore:
Сообщит, что не нужно сканировать страницы, которые содержат search.php с чем-то до и чем-то после него. А вы сказали поставить звездочку после слэша. Почему?

Я разве такое прямо такое говорил - "поставить звездочку после слэша"? Я ее поставил что-бы вам было понятно, что она подразумевается в конце по умолчанию, даже если ее там нету.

Запреты:

Disallow: /*?page_id=
Disallow: /*?page_id=*

равнозначны. В конце ставить звездочку не нужно.

Дзен реализовал для авторов возможность вывода денег через СПБ

Все что нужно знать о DDоS-атаках грамотному менеджеру

Что делать с этим хламом?