Удалять из индекса или нет?

12
Web-Silver
На сайте с 02.05.2007
Offline
247
593

Добрый день!

Собираюсь полностью менять дизайн сайта и контент, в связи с этим частенько возникают разного рода вопросы.

1) Могу ли я каким-то образом удалить весь сайт из индекса поисковых систем? Т.к. воспользовавшись панелью вебмастера от Яши, я с удивлением увидел, что у меня не сайт с разделами, а чисто форум, который занимает 99,2% от общего количества страниц, что составляет около 170000 страниц.

http://webmaster.yandex.ru/delurl.xml «Удалить URL» - поможет ли?

Гугл вообще пишет сделать так:

User-agent: *

Disallow: /

Или все оставить как есть, сменить дизайн и контент, залить все новые файлы на хостинг, а потом роботы ПС сами выкинут несуществующие (или запрещенные в robots.txt) страницы и проиндексируют новые? Пусть это будет за 1-2-N Апов…

2) Вопрос по основным зеркалам

Тут прошу немного объяснить мне. При запросе в Яше «"*.site.ru"» на первом месте выдается сайт www.site.ru (получается с WWW)

При этом:

Запрос "www.site.ru" - Результат поиска: страниц — 813, сайтов — не менее 189

Запрос "site.ru" - Результат поиска: страниц — 45 760, сайтов — не менее 636

Нужно ли переклеить все таким образом:

User-agent: Yandex

Disallow:

Host: site.ru

RewriteEngine on

Options +FollowSymlinks

RewriteBase /

RewriteCond %{HTTP_HOST} ^www.site.ru$

RewriteRule ^(.*)$ http://site.ru/$1 [R=301,L]

Все заранее благодарен за ответы!

GC
На сайте с 05.08.2005
Offline
66
#1
Web-Silver:
Добрый день!

Собираюсь полностью менять дизайн сайта и контент, в связи с этим частенько возникают разного рода вопросы.

1) Могу ли я каким-то образом удалить весь сайт из индекса поисковых систем? Т.к. воспользовавшись панелью вебмастера от Яши, я с удивлением увидел, что у меня не сайт с разделами, а чисто форум, который занимает 99,2% от общего количества страниц, что составляет около 170000 страниц.

http://webmaster.yandex.ru/delurl.xml «Удалить URL» - поможет ли?

Гугл вообще пишет сделать так:

User-agent: *
Disallow: /

Или все оставить как есть, сменить дизайн и контент, залить все новые файлы на хостинг, а потом роботы ПС сами выкинут несуществующие (или запрещенные в robots.txt) страницы и проиндексируют новые? Пусть это будет за 1-2-N Апов…
Все заранее благодарен за ответы!

То, что вы указали как совет Гугля - отлично поможет и для Яндекса да и любой другой поисковой системы, которая обрабатывает файл роботс.тхт.

На мой взгляд, в вашей ситуации разумно создать роботс.тхт с запрещением индексации всего сайта (заодно и форум убьете), раз уж затеяли реструктуризацию и смену дизайна.

Удалять целые директории сайта через панель вебмастера можно, если уж так хочется и в роботсе прописано, но имхо лишняя работа, поскольку поисковик сам выкинет из индекса весь сайт, при очередном обращении к роботс.тхт.

У меня за 4 апа из индекса Яндекса сайт выпал, когда выложил роботс запрещающий индексацию.

Хотя если нужен хоть какой то трафик во время редизайна - меняйте на живую все.

А если есть возможность все сделать красиво, и без трафика можно прожить это время, - через роботс.

seo услуги в Харькове (http://seohelp.ua)
Hooper
На сайте с 07.09.2007
Offline
62
#2

смысл сайт закрывать от индекса весь и терять почти весь траф? просто делайте редизайн, или что там у вас, страницы которые вы удалили, со временем сами из индекса пропадут, а новые появятся.

newland
На сайте с 22.09.2006
Offline
110
#3

поддерживаю закрывать не стоит

Web-Silver
На сайте с 02.05.2007
Offline
247
#4

Хорошо, спасибо за советы, оставлю как есть, за несколько АПов все надеюсь изменится на новую структуру! Что скажите по поводу зеркал? Правильно ли будет сделать как я указал? Вопрос номер 2 (в первом посте), что скажете - именно для моего случая надо так сделать или нет?

K
На сайте с 31.01.2001
Offline
737
#5
Web-Silver:
Запрос "www.site.ru" - Результат поиска: страниц — 813, сайтов — не менее 189
Запрос "site.ru" - Результат поиска: страниц — 45 760, сайтов — не менее 636

Эти запросы ни о чем не говорят, забейте.

http://webmaster.yandex.ru/faq.xml?id=508490#whatismirror

Проверять, какое зеркало главное - так и так, что будет в результатах поиска, то и пишите в Host: ...

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
Web-Silver
На сайте с 02.05.2007
Offline
247
#6

Kost, по обоим запросам выдало одинаково:

Результат поиска: страниц — 42 672

Область поиска: сайт — site.ru

Результат поиска: страниц — 42 672

Область поиска: сайт — www.site.ru

И все страницы выдаются с www, а мне бы хотелось без www, т.к. и ссылки на сайт без www размещал и в названии домена первая буква "W" и как-то не очень смотрится если приставка вначале www.wназвание-сайта.ru

Подскажите плиз, все-таки нужно сделать как я хотел в первом посте или не стоит?

Заранее благодарен!

SergeyK
На сайте с 18.07.2007
Offline
41
#7
Web-Silver:
Результат поиска: страниц — 42 672
Область поиска: сайт — site.ru
Результат поиска: страниц — 42 672
Область поиска: сайт — www.site.ru
И все страницы выдаются с www

Что из этого следует? Что с www - главное зеркало.

Web-Silver:
ссылки на сайт без www размещал

Теперь это уже не важно. Зеркала склеились, и ссылочное сложилось.

Web-Silver:
а мне бы хотелось без www

А нужен ли Вам это геморой? Расклеивать зеркала, снова склеивать... Это займет довольно много времени (посмотрите в логах сервера, как часто Ваш сайт посещает робот зеркальщик Yandex/1.01.001 (compatible; Win16; H))

Мой Вам совет - оставьте как есть.

И еще, кстати. Способ, который Вы определяете зеркала неверен

garry_chem:
Запрос "www.site.ru" - Результат поиска: страниц — 813, сайтов — не менее 189
Запрос "site.ru" - Результат поиска: страниц — 45 760, сайтов — не менее 636

Пользуйтесь методом, предложенным Kost.

PS Удачи!

С уважением, Сергей Коваленко.
K
На сайте с 31.01.2001
Offline
737
#8

Тогда поставьте в Host: site.ru

как вы написали. Редирект я бы ставить не стал, лучше подождать.

Когда дойдет очередь до Рамблера и Google, можно будет поставить.

Web-Silver
На сайте с 02.05.2007
Offline
247
#9

SergeyK, Kost, спасибо за помощь! В общем, лучше я ничего не буду трогать. А просто заменю дизайн ии полностью весь контент на сайте, после чего буду ждать несколько АПов, пока все устаканится.

Кстати, еще один вопросик: при таком вот глобальном изменении сайта (дизайна, структуры и т.д.) есть какие-то подводные камни?

SergeyK
На сайте с 18.07.2007
Offline
41
#10
Web-Silver:
при таком вот глобальном изменении сайта (дизайна, структуры и т.д.) есть какие-то подводные камни?

Дизайн ни на что не повлияет (не считая, конечно, восторга пользователей ;) ).

Теперь что касается структуры. Если адрес страницы меняется, то в индексе ее соответственно не будет. Но это не проблема, пара АПов, и она в индексе (при условии, что есть прямые ссылки с проиндексированных страниц).

Теперь о ссылочном. Морда не пострадает. А вот если структура всего сайта изменилась, то ссылки на внутренние со старыми адресами, перестанут учитываться (страницы нет - ссылочное передавать некуда).

Про ТИЦ. Ссылки на морду остались. Следовательно, ТИЦ, передаваемый ими - тоже. Ссылки на внутренние (которые уже с новыми адресами) ТИЦ передавать уже не будут (здесь на 100% не уверен).

Вроде все.

Добавлю еще, что сказанное - имхо.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий