Форум Поисковые системы Яндекс

вопрос по поводу робота яндекса и файлика robots.txt

D
На сайте с 23.12.2005
Offline
25
Davinchi
774

Собственно говоря возникла проблема, решил в robots.txt закрыть для индексации всяй не нужный мусор на форуме а именно: 


User-agent: * 

Disallow: /cgi-bin/

Disallow: /forum/groupcp.php 

Disallow: /forum/memberlist.php 

Disallow: /forum/posting.php 

Disallow: /forum/profile.php 

Disallow: /forum/privmsg.php 

Disallow: /forum/viewonline.php

Disallow: /forum/search.php

Disallow: /forum/faq.php

форум phpbb

вот google воспринял это довольно позитивно проиндексировал весь форум (чего раньше практически небыло)

А вот яндекс убил весь форум + перестал совсем индексировать новые статьи на сайте, и получается результат

Яндекс было поиндесированных 1400 страниц стало 580

Google было проиндесированно 970 стало 1600

P/S/ что такое поиск знаю нечего вразумительного не нашел :(

The WishMaster
На сайте с 29.09.2005
Offline
2542
The WishMaster
#1
Davinchi:
Яндекс было поиндесированных 1400 страниц стало 580

Ну дык логично, ты ж закрыл для индексации многие страницы

Кому старенького креативного копирайтера? Тематики - туризм, СЕО, творчество, кулинария, шизотерика :)
Exotic Fruit
На сайте с 31.01.2006
Offline
155
Exotic Fruit
#2
Davinchi:

Яндекс было поиндесированных 1400 страниц стало 580

Интересно почему 😂 😂 😂

PREBORIS (http://www.preboris.ru)
D
На сайте с 23.12.2005
Offline
25
Davinchi
#3
The WishMaster:
Ну дык логично, ты ж закрыл для индексации многие страницы

так проблема в том что домен/forum/ полностью вылетел со всеми топиками 😕 хотя я их не закрывал (сверху описан мой robots.txt) + полностью преостанавилась индесация всего сайта (новои новости и статьи)

FlyAway
На сайте с 01.06.2005
Offline
439
FlyAway
#4

Davinchi, подождите следующего апдейта и следите за посещением вашего сайта быстророботом.

Сердюченко Андрей (http://www.serdyuchenko.ru/) Масонская ложа — SЕ-Team.ru (http://goo.gl/YIjV6h) :)
Григорий Селезнев
На сайте с 25.09.2001
Offline
298
Григорий Селезнев
#5

я бы ненужные ссылки ява-скрипом бы закрывал, формами или через noindex - тогда вИЦ / PR рассеиваться не будут ... а через robots.txt в последнюю очередь

andrej-ilin
На сайте с 28.03.2005
Offline
42
andrej-ilin
#6

Davinchi, я думаю, проблема с индексацией Вашего сайта не связана с изменением robots.txt. Подумайте, возможно, существуют и другие причины. Иногда бывают странные глюки. Я вот тут недавно обнаружил, что MSN на одном моем довольно большом сайте упорно индексирует мусор, закрытый в robots.txt. Причем robots.txt не менялся более года. Зачем он туда лезет? Лучше бы новые страницы индексировал.

andrej-ilin@yandex.ru
eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
D
На сайте с 23.12.2005
Offline
25
Davinchi
#7

Всем спасибо за ответы :) свершилось :))

Всем кто с таким сталкнется опишу ситуацию, получается такая вот фигня выпал из яндекса после измения robots.txt на 3 недели, сегодня +- полчаса тому назад все было проиндексированно без мусора (так что этот испуг был напрасен) если еще кто либо сталкнется с такой проблемой выжидайте и будет вам счастье :)

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
I
На сайте с 21.09.2006
Offline
0
igorspb
#8

Davinchi, рад за тебя..

У меня аналогичные проблемы. Один в один. Хотел как лучше, а получил катастрофу по яндексу.

Первончально Disallow: стоял для memberlist.php и profile.php, вроде как все нормально было. Было несколько десятков тысяч проиндексированных яндексом страниц. Был в топе по многим важным для себя ключевым словам..

Добавил posting.php, privmsg.php, другое по мелочи - все сломалось..

При этом реакция Goggle, Rambler была нормальной..

Ждал около 2 месяцев.. Полная тишина.. Никаких изменений.. Ни одной страницы форума в индексируемых страницах..

Дня 3 назад сгоряча очистил весь robots.txt.. Жду..

Чего делать, не знаю уже..

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий