Форум Практика оптимизации Doorways & Cloaking

Яндекс и Гугл

12
X1
На сайте с 21.05.2009
Offline
104
Xpyct10
1353

Может кто то сказать, в чем может быть проблема, Яндекс и Гугл боты , приходят ко мне на сайт ежедневно, в одно и тоже время, уже в течении 2 недель а в индекс непопадаю может проблема с robot.txt вот логи за сегодян

77.88.24.28 - - [10/Jun/2009:01:42:16 +0400] "GET /robots.txt HTTP/1.1" 200 111 "-" "Yandex/1.01.001 (compatible; Win16; I)"

77.88.24.28 - - [10/Jun/2009:01:42:16 +0400] "GET / HTTP/1.1" 200 11931 "-" "Yandex/1.01.001 (compatible; Win16; I)"

78.129.231.173 - - [10/Jun/2009:01:46:10 +0400] "GET / HTTP/1.1" 200 11931 "http://site.net/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)"

S
На сайте с 22.04.2009
Offline
158
Squadblr
#1

Правильно robots.txt, а не robot.txt

X1
На сайте с 21.05.2009
Offline
104
Xpyct10
#2

да это, я сдесь пропустил, так у меня нормально написано robots.txt, просто башка уже неварит, сижу с ботами разбераюсь, и втоже время Диплом набираю

S
На сайте с 22.04.2009
Offline
158
Squadblr
#3

В роботсе может запрет на индексацию стоит?

P.S. Я так роботс вообще нигде не юзаю, и все отлично лезет.

X1
На сайте с 21.05.2009
Offline
104
Xpyct10
#4
Squadblr:
В роботсе может запрет на индексацию стоит?
P.S. Я так роботс вообще нигде не юзаю, и все отлично лезет.

вот

User-agent: *

Disallow: /cgi-bin/

Host:site

Sitemap:http://site/sitemap.xml

Xpyct10 добавил 10.06.2009 в 05:21

P.S. Я так роботс вообще нигде не юзаю, и все отлично лезет.

спс, я наверно тоже, роботс перестаную юзать

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
S
На сайте с 22.04.2009
Offline
158
Squadblr
#5

После Host: пробел нужен. Аналогично и после Sitemap:

G
На сайте с 12.04.2009
Offline
3
geoposter
#6

ну да, без пробелов то никуда

Лучший конверт в руадалте (http://topcash.ru/?ref=2584)
Evil_Genius
На сайте с 03.04.2009
Offline
30
Evil_Genius
#7

Домены 3го уровня?

заплыл в работе............
BD
На сайте с 12.05.2008
Offline
31
Blade_Dance
#8

77.88.xxx.xxx

он хоть I бот но вроде как обходит только домены которые у яши в бане

R
На сайте с 29.03.2008
Offline
50
revollp
#9

Чтобы не создавать новую тему, спрошу здесь. может кто-нибудь поможет. Вообщем такое дело, заливаю дор, добавляю в адурилку яши, через пару дней в индекс попадает главная (наверно быстроробот), потом еще через несколько дней она выпадает и уже больше страниц дора в индекс не залазит, хотя по логам бот заходит на сайт. Что я могу делать не так?

PS: с шаблонами, % ключевиками и прочим эксперементировал. Покуда результаты одинаковые.

доры адалт и дэтинг, домены ру

Хостинг от 1$ за 1 Гб (http://empire-host.ru/?ref=13627)
eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
Evil_Genius
На сайте с 03.04.2009
Offline
30
Evil_Genius
#10
revollp:
Чтобы не создавать новую тему, спрошу здесь. может кто-нибудь поможет. Вообщем такое дело, заливаю дор, добавляю в адурилку яши, через пару дней в индекс попадает главная (наверно быстроробот), потом еще через несколько дней она выпадает и уже больше страниц дора в индекс не залазит, хотя по логам бот заходит на сайт. Что я могу делать не так?
PS: с шаблонами, % ключевиками и прочим эксперементировал. Покуда результаты одинаковые.
доры адалт и дэтинг, домены ру

Пробуй делать доры без кнопки. Если всеравно не лезут доры то копай вглубь...(может хостинг плохой, может ссылки не там размещаешь...)

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий