Боты всех поисковых систем бездействуют?

G
На сайте с 21.01.2008
Offline
224
491

Здравствуйте!

С недавних пор стал счастливым обладателем сайта на платном домене и хостинге. И впервые столкнулся с такой штукой как лог. Открыл вкладку «Последние посетители сайта» и с радостью обнаружил, что меня посещают боты практически всех поисковых систем.

Были пауки Рамблера, Яндекса, Гугля, даже Яху. Словом, куда я отсылал свою карту сайту, оттуда и приходят. В примечании обычно указывается Http Code: 200 и Http Code: 304.

Меня вот, что интересует. Пауки прошлись по нескольким десяткам страниц, но в индекс Гугля и Яху попала только главная страница. Так и должно быть?

А как же те десятки страниц, по которым они прошлись? Почему не Рамблер, ни Яндекс до сих пор не внесли в базу новые страницы?

И ещё. Интересуюсь на будущее. Что делать, если сайт долгое время не обновлялся? Например, месяц или два. Как потом сообщить поисковикам, что им есть, над чем поработать.

Читал, что чем чаще обновляется сайт, тем чаще к нему в гости заходят Соответственно, если обновлять редко, то пауки обидятся и будут обходить стороной. Это так? Или это очередной миф вроде оптимальной плотности ключевых слов?

А если это так, то как направить ботов на новые страницы?

Angelo
На сайте с 01.01.2007
Offline
125
#1

robots.txt смотрите

G
На сайте с 10.03.2006
Offline
103
#2

имейте терпение и все проиндексируется :)

[Удален]
#3
Gothic:
Меня вот, что интересует. Пауки прошлись по нескольким десяткам страниц, но в индекс Гугля и Яху попала только главная страница. Так и должно быть?

Эти поисковики более активны чем Яндекс, скоро попадут в выдачу остальные страницы.

Gothic:
Почему не Рамблер, ни Яндекс до сих пор не внесли в базу новые страницы?

Если они были в гостях ближайшие 1-2 апа ждите попадания в индекс.

Gothic:
Что делать, если сайт долгое время не обновлялся?

Обновлять :)

Gothic:
Как потом сообщить поисковикам, что им есть, над чем поработать.

Узнают сами. Главное обновляйте постоянно, 1 раза в 1-2 месяца мало,

как Я увидит частое обновление, так и будет забегать в чаще гости.

Gothic:
Читал, что чем чаще обновляется сайт, тем чаще к нему в гости заходят Соответственно, если обновлять редко, то пауки обидятся и будут обходить стороной. Это так? Или это очередной миф вроде оптимальной плотности ключевых слов?

Ну, обходить стороной не будут, просто будут реже заглядывать в гости.

Gothic:
А если это так, то как направить ботов на новые страницы?

Ссылками с других сайтов, сылкой с морды вашего сайта.

G
На сайте с 21.01.2008
Offline
224
#4

Господа! Только не бейте ногами по лицу, но у меня нет файла robot.txt. Как это повлияет на индексацию? Он вообще нужен? У меня весь майт должен проиндексироваться, я ничего от поисковиков не скрываю.

Но если это жизненно необходимо, то, конечно, создам.

G
На сайте с 10.03.2006
Offline
103
#5

не жизненонеобходимо в принципе.

M2
На сайте с 01.08.2007
Offline
111
#6

Лучше создайте - будет меньше 404 ошибок в логах.

one
На сайте с 15.04.2007
Offline
336
one
#7

А ссылка на карту сайта это такой хитрый ход да? :)

Решения для автоматизации действий ( https://www.facebook.com/automationstudio20/ ) в интернете.
PM
На сайте с 12.02.2008
Offline
87
#8

Создайте файл robots.txt (и залейте его в корень сайта) и пропишите в него следующее:

User-agent: *

Disallow:

это разрешает всем ПС индексировать все страницы, без robots.txt конечно можно, но думаю не проблема создать один файл и написать туда 2 строчки :)

PerpetuumMobile добавил 24.02.2008 в 12:37

one:
А ссылка на карту сайта это такой хитрый ход да?

наверно человек думает, что так быстрее проиндексируется, типа роботы отсюда придут )

G
На сайте с 21.01.2008
Offline
224
#9

Что-то «Яндекс» меня не радует. Уже перешёл на WordPress, создал почти 500 сообщений (контент уникальный, писал сам, ничего не воровал), есть автоматически обновляемая карта сайта, ссылки с других сайтов, а «Яндекс» всё не заносит в индекс.

Хотя в поиске по блогам присутствую, но меня это мало радует. Хочется попасть в основную выдачу. Кстати, практически все поисковые системы такие же неспешные, как и «Яндекс». В Yahoo лежит несколько моих старых статичных страниц. А Google проиндексировал семь страниц и всё.

«Рамблер» и «Яндекс» не радуют даже этим. Помнится, когда у меня были сайты на Narod, они и то быстрее попадали в поисковую выдачу. А теперь хостинг платный, домен платный, блог каждый день обновляется, уникального контента завались, а поисковым системам опять что-то не нравится.

Более двух недель боты ходят, а в индексе блога нет. Ужас!

Gothic добавил 08.03.2008 в 22:07

Насчёт карты сайта – да, каюсь, наивно полагаю, что чем больше ссылок оставлю на карту сайта, тем скорее сайт проиндексируется. Только вот последние три недели показали, что этот финт ушами не работает.

Gothic добавил 09.03.2008 в 14:44

Прямо какая-то мистика! Сайт активно функционирует с середины прошлого месяца. За это время было несколько апдейтов выдачи Яндекса.

07.03.2008

04.03.2008

01.03.2008

12.02.2008

Ладно, с 12.02.2008 по 01.03.2008, предположим, я не попал в выдачу. Но как же быть с остальными отчётными датами? Ведь буквально два дня назад было очередное обновление.

Написал письмо Платону Щукину, человеку и пароходу. Ответил, что с их стороны проблем нет. Сайт не находится в чёрном списке, никаких фильтров. Посоветовал писать уникальный контент. А я только этим и занимаюсь.

Уже в голову начинают лезть самые странные мысли. Пока меня особо пугают две:

1) несколько месяцев данный домен был припаркован на parked. Не могло ли это как-то негативно сказаться на дальнейшей участи домена?

2) Буквально за несколько дней я сделал простенький сайт (было около двухсот страниц), а потом удалил его, установил WordPress и за несколько дней наполнил блог тремя сотнями сообщений. Может, поисковые системы решили, что это специальный скрипт наполняет блог?

В настоящий момент блог обновляется каждый день. Пишу от 10 сообщений в сутки. Ничего не ворую, только свои тексты. Казалось бы, все поисковые системы должны любить, ведь я создаю уникальный контент. А тут такая засада.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий