Форум Практика оптимизации Общие вопросы оптимизации

Срочно нужен опытный совет по индексации

tatrus2
На сайте с 28.05.2011
Offline
129
tatrus2
842

Здравствуйте! Вообще не пойму в чем дело! Развиваю новый сайт - контент 100 % уник, каждый день 2-3 новых записи, но с каждым апом страницы вылетают. бвло 148, затем стало 140, щас вообще 90 после последнего апа. но робот уже 1000 загрузил (в яндекс.вебмастер). В чем может быть дело? Может с робот.тхт что-то не так? Жду вашей скорой помощи!

Sentoro
На сайте с 18.03.2007
Offline
149
Sentoro
#1

давайте роботс или пациента, гадалки в отпуске.

Продается СДЛ на тему инвестирования (http://www.telderi.ru/ru/viewsite/903457)
tatrus2
На сайте с 28.05.2011
Offline
129
tatrus2
#2

User-agent: *Disallow: /wp-login.phpDisallow: /wp-register.phpDisallow: /xmlrpc.phpDisallow: /wp-adminDisallow: /wp-includesDisallow: /wp-contentDisallow: /tag/Disallow: /trackback/Disallow: /feed/Disallow: /comments/Disallow: */trackback/Disallow: */feed/Disallow: */comments/Disallow: /?feed=Disallow: /?s=Allow: /wp-content/uploads/Sitemap: http://"..САЙТ.."/sitemap.xml

_________

этот же робот использовал на других сайтах, все норм было...

sunca
На сайте с 05.12.2010
Offline
77
sunca
#3
tatrus2:
User-agent: *Disallow: /wp-login.phpDisallow: /wp-register.phpDisallow: /xmlrpc.phpDisallow: /wp-adminDisallow: /wp-includesDisallow: /wp-contentDisallow: /tag/Disallow: /trackback/Disallow: /feed/Disallow: /comments/Disallow: */trackback/Disallow: */feed/Disallow: */comments/Disallow: /?feed=Disallow: /?s=Allow: /wp-content/uploads/Sitemap: http://"..САЙТ.."/sitemap.xml
_________
этот же робот использовал на других сайтах, все норм было...

в оригинальном robots так же красиво прописаны директивы? 🙄

p.s. блокнот не есть гуд

The WishMaster
На сайте с 29.09.2005
Offline
2542
The WishMaster
#4

Когда уже будут банить нафиг секретных агентов... 😡

Пешу текста дешыго! Тематики - туризм, СЕО, творчество, кулинария, шизотерика :)
goliafz
На сайте с 16.07.2008
Offline
94
goliafz
#5

Disallow: /wp-content

Allow: /wp-content/uploads/

Поменять местами строчки. Allow должна идти выше Dissalow. Иначе у вас щас стоит запрещение всего /wp-content

tatrus2
На сайте с 28.05.2011
Offline
129
tatrus2
#6

Подскажите, вот так будет правильно?

User-agent: *

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /wp-admin

Disallow: /wp-includes

Allow: /wp-content/uploads/

Disallow: /wp-content

Disallow: /tag/

Disallow: /trackback/

Disallow: /feed/

Disallow: /comments/

Disallow: */trackback/

Disallow: */feed/

Disallow: */comments/

Disallow: /?feed=

Disallow: /?s=

Sitemap: http://сайт/sitemap.xml

---------- Добавлено 26.02.2012 в 10:39 ----------

или может его таким сделать? Здесь для яши какая-то отдельная тема написана:

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /xmlrpc.php

Disallow: /wp-content/uploads

Disallow: /wp-content/themes

Disallow: /trackback/

Disallow: /feed/

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /*?*

Disallow: /?feed=

Disallow: /?s=

Sitemap: http://ваш url сайта (например: blog.businesskolusev.com)/sitemap.xml.gz

Sitemap: http://ваш url сайта/sitemap.xml

User-agent: Yandex

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /xmlrpc.php

Disallow: /wp-content/uploads

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback/

Disallow: /feed/

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /?feed=

Disallow: /*?*

Disallow: /?s=

Host: ваш url с www или без него

Составление файла robots.txt О чем нужно помнить Google: ранжирование файла robots.txt

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий