Неправильный robot.txt отсутствие индексации

R
На сайте с 05.02.2013
Offline
3
529

Здравствуйте. У меня возникла небольшая проблема. Начал читать про robot.txt для wordpress. Скопировал себе robot.txt. Оказалось, что этим роботом я запретил индексацию всех своих статей, из-за того что у меня был disallow на название страниц в стиле id=142. Мой сайт проиндексирован весь. Но в поиске только одна страница (главная), остальные все в исключённых.

Сейчас я заменил свой robot.txt

Вопросы:

1. Если мой robot.txt правильно, сколько ждать индексации всего сайта?

2. Проверьте пожалуйста правильность моего robot.txt

Вот сайт

Всем заранее спасибо

Сайт об уникальных местах планеты (http://unique-places.ru/) Интересные статьи, много фотографий, различная полезная информация и многое другое
[Удален]
#1

как говорится индексации сколько не жди, а её всё мало.

ну а по теме нормально. роботс у вас ничего нужного не закрывает сейчас вроде как.

кстати какие урлы закрыты в роботсе можно проверить в яндекс вебмастере.

сколько времени потребуется хз. этого даже сам сегалович не знает.

а вообще можете взять мой роботс, мне не жалко. он кстати тоже для wp.

вот он ёпа мать (куплен за 10$ у барыги с супра) -

------------------------

User-agent: *

Disallow: /cgi-bin

Disallow: /downloads

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-trackback

Disallow: /wp-feed

Disallow: /wp-comments

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

Disallow: /wp-content/cache

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /20*

Disallow: /author/

Disallow: /tag/

Disallow: /page/

Disallow: /feed/

Disallow: */feed

Disallow: */trackback

Disallow: /trackback

Disallow: */comments

Disallow: /*comment

Disallow: /comments

Disallow: /sidebar/

Disallow: /search

Disallow: /?s=*

Disallow: /*.php

Disallow: /xmlrpc.php

User-agent: ia_archiver

Disallow: /

-------------------------------

правда я за него не ручаюсь. вдруг Disallow: /?s=* будет закрывать ваши урлы? проверьте его в ЯВМ.

Mish-ka
На сайте с 08.06.2011
Offline
414
#2
weston:
куплен за 10$ у барыги с супра

Мдя.

Барыги роботсами - это что-то новое.

---

Я проапгрейдил его роботс, с учетом долгой жизни сайта.

Продайте ему за 15.

User-agent: *
Disallow: /cgi-bin
Disallow: /downloads
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-content/cache
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /20*
Disallow: /21*
Disallow: /author/
Disallow: /tag/
Disallow: /page/
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: /trackback
Disallow: */comments
Disallow: /*comment
Disallow: /comments
Disallow: /sidebar/
Disallow: /search
Disallow: /?s=*
Disallow: /*?
Disallow: /*?*
Disallow: /*.php
Disallow: /xmlrpc.php

User-agent: ia_archiver
Disallow: /

:)

---

А если уж совсем по теме, то нет смысла загромождать файл закрытием админки.

ПС хоть и не совсем адекватны, но в админки не лезут.

Да и неплохо было бы открыть через Allow папку /wp-content/uploads/.

Серч уже не торт => https://se.guru
[Удален]
#3
Mish-ka:
Мдя.
Барыги роботсами - это что-то новое.
---
Я проапгрейдил его роботс, с учетом долгой жизни сайта.
Продайте ему за 15.

:)
---

А если уж совсем по теме, то нет смысла загромождать файл закрытием админки.
ПС хоть и не совсем адекватны, но в админки не лезут.
Да и неплохо было бы открыть через Allow папку /wp-content/uploads/.

правила

Disallow: /*?

Disallow: /*?*

случайно не закроют его урлы? посмотрите структуру ссылок на его сайте. там идёт дефолт -

http://unique-places.ru/?p=440

а Disallow: /21* зачем? надеетесь ещё один век отмотать?)

R
На сайте с 05.02.2013
Offline
3
#4

Спасибо за ответы :)

Ещё один вопросик. Чисто из интереса. Если делать названия статей в стиле egipetskie-piramidi.html, то как их закрывать в менюшках? Ведь там вписываешь id страниц, чтобы не показывать их

[Удален]
#5
Razerking:
Спасибо за ответы :)
Ещё один вопросик. Чисто из интереса. Если делать названия статей в стиле egipetskie-piramidi.html, то как их закрывать в менюшках? Ведь там вписываешь id страниц, чтобы не показывать их

я правда не совсем понял в каких менюшках что вы там закрываете, но id есть у любой страницы вне зависимости от структуры ссылок. открываете любую страницу на редактирование и наводите курсор на её название. в нижнем окошке высветится ссылка где будет показан и id этой статьи.

R
На сайте с 05.02.2013
Offline
3
#6

Хорошо:) Спасибо вам большое:)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий