Срочно! Как сделать чтоб и волки были сыты и овцы целы?

12 3
DB
На сайте с 09.08.2007
Offline
55
3204

Вопрос к народу, имеющему опыт в технических моментах связанных с раскруткой сайта и работой поисковых систем, в частности Яндекс.

Речь идёт о сайте webplus.info

С апреля начал проводить на своём сайте некоторую оптимизацию для поисковиков, опираясь от части и на материалы этого форума. Уже с мая начал подыматься трафик. Мне бы радоваться… С ростом посещаемости реальной целевой аудитории начал происходить и рост интереса со стороны поисковиков. Контент растёт. Растёт и всё остальное. Но вот начали происходить некоторые неудобоваримые технические проблемы. Эти проблемы связаны с растущим интересом поисковых роботов. Мало того, что трафик от них по хитам 312453 – май, 456627 – июнь, 375047 – июль, 137037 – август на 9-е 6:00 . Сравните хиты от целевой аудитории 10562 – май, 16462 - июнь, 16360 - июль, 5700 – август. Но эти роботы так начали бадать сервер, что он трещит по швам. По швам, это в смысле нагрузки на сервер. Мой провайдер от такой активности подумал, что я применяю какие-то «левые» методы раскрутки. Но кроме регистрации в каталогах, прописки мета-тегов и альтернативных текстов в имиджах, я ничего не делаю. От части из этических соображений, от части из-за того, что сами поисковики этого не приветствуют, от части от отсутствия финансов на заказ платной раскрутки.

Пытаюсь решить проблему нагрузки на сервер унифицируя и сокращая sql-запросы, связанные с формированием страницы, но боюсь что этого тоже будет недостаточно. Банить поисковики – это значит потерять смысл и идею самого проекта webplus.info – не метод. Хорошо, что к примеру, у гугла есть возможность сокращать скорость сканирования и её мне пришлось сократить (я имею в виду панель инструментов для вебмастеров). У яндекса есть нечто подобное?, кто знает, люди добрые, подскажите? Яндекс буйствует! Я конечно понимаю, у них конкуренция по типу «кто лучше и свежее», а серверы потенциальных клиентов зачем ложить?!

Сейчас делаю систему кеширования, чтоб разгрузить mysql-сервер. От части это выход, но только от части. Перейти на выделенный сервер с виртуального хостинга нет финансовой возможности (ах если бы хиты поисковиков поменялись с хитами от посетителей…)

«Посоветуйте что делать, когда известно кто виноват» и как сделать чтоб и волки были сыты и овцы целы . Благодарен любому толковому совету!

...а лучше отправь открытку! (http://webplus.info/)
Californiy
На сайте с 12.12.2006
Offline
95
#1

Попробуйте отдавать поисковикам кешы от страниц, уменшить количество запросов к базе, попробуйте в конце концов переехать на более мощный сервер. Ведь если есть трафик - его надо конвертировать в деньги, а чем больше денег вы хотите - тем больше надо вкладываться...

Тружусь в sapiense.com.
MoMM
На сайте с 16.06.2006
Offline
727
#2

поищите, на форуме были директивы для роботов для роботс.тхт, которые регулируют частоту обращений к сайту

Mishael
На сайте с 08.11.2001
Offline
217
#3

Выясните какой робот и что именно жрет. Не исключено что 90% траффа хавает Вебальта :):) Закройте от индексации все лишнее. Например линкопомойгу.

Мой надежный веломагазин (https://veliki.com.ua/) на CMS Melbis Shop 6 (http://www.melbis.com/)
DB
На сайте с 09.08.2007
Offline
55
#4

60% -жрёт яндекс

25% - гугл

15% - все остальные, включая целевую аудиторию

Сейчас пишу кеш... А пока за 9 дней 13гиг трафика сожрали из 30 🙅 (провайдер на ушах 🚬)

Регулировать частоту обращения к сайту? ну не знаю... у меня порядка 50% страниц, которые могут менятся каждую минуту, 40% - каждый день 10% - по мере надобности. Попробую делать отдельный оптимизированный кеш конкретно для поисковиков, снижу нагрузку на сервер и трафик от них, отдельно для посетителей - тогда нагрузка на базу вообще будет сведена к минимуму. Благо дисковой квоты хватает.

Но останется вопрос... Кеш по трафику поможет только до определённого момента. К примеру до 1000 посетителей, затем снова начнутся проблемы с трафиком. Буду вести переговоры со своим провайдером. Выделинка у него дороговата, а трафик, что на квоте в 50Мб, что на 2000Мб - 30гиг. А по хостинг плану - сейчас 60зел на 350Мб. Скажите, это нормально? Может мне действительно поменять провайдера и не париться с кешем?

Ilya_1982
На сайте с 03.11.2006
Offline
101
#5
dmitry_bublikov:
60% -жрёт яндекс
25% - гугл
15% - все остальные, включая целевую аудиторию
Сейчас пишу кеш... А пока за 9 дней 13гиг трафика сожрали из 30 🙅 (провайдер на ушах 🚬)
Регулировать частоту обращения к сайту? ну не знаю... у меня порядка 50% страниц, которые могут менятся каждую минуту, 40% - каждый день 10% - по мере надобности. Попробую делать отдельный оптимизированный кеш конкретно для поисковиков, снижу нагрузку на сервер и трафик от них, отдельно для посетителей - тогда нагрузка на базу вообще будет сведена к минимуму. Благо дисковой квоты хватает.
Но останется вопрос... Кеш по трафику поможет только до определённого момента. К примеру до 1000 посетителей, затем снова начнутся проблемы с трафиком. Буду вести переговоры со своим провайдером. Выделинка у него дороговата, а трафик, что на квоте в 50Мб, что на 2000Мб - 30гиг. А по хостинг плану - сейчас 60зел на 350Мб. Скажите, это нормально? Может мне действительно поменять провайдера и не париться с кешем?

Может к нормальному хостеру переехать все же? На мой взгляд самый разумный ход. Что держит Вас на старом хостинге?

MoMM
На сайте с 16.06.2006
Offline
727
#6
DB
На сайте с 09.08.2007
Offline
55
#7
Ilya_1982:
Может к нормальному хостеру переехать все же? На мой взгляд самый разумный ход. Что держит Вас на старом хостинге?

Не один год с ним работаю и знаю что он достаточно надёжный, также через меня там еще несколько сайтов держатся, но не моих правда. Да и 30гиг хватало до августа этого года - бешенства поисковых работов.

Не исключаю такого поворота событий и это скорее уже будет зависить от него самого. Вместе с тем если у кого есть надёжные (проверенные временем и обстоятельствами) провайдеры, посоветуйте, на всякий случай.

T.R.O.N
На сайте с 18.05.2004
Offline
314
#9
dmitry_bublikov:
Да и 30гиг хватало до августа этого года

Хостер, который считает исходящий траф - это уже позавчерашний день. Уже давно, норма - или расчет входящего иностранного, или анлимит.

dmitry_bublikov:
Сейчас делаю систему кеширования, чтоб разгрузить mysql-сервер

А Вы не думали о том, что вы просто неоправданно используете sql. В вашем случае, для большенства разделов, он нужен как корове седло.

При нагрузке в 1000 хостов в сутки + боты, говорить о проблемах, - это тольок подтверждение очень кривого программинга.

От воздержания пока никто не умер. Хотя никто и не родился! Prototype.js был написан теми, кто не знает JavaScript, для тех, кто не знает JavaScript (Richard Cornford)
skady
На сайте с 28.02.2006
Offline
71
#10
dmitry_bublikov:

Сейчас пишу кеш... А пока за 9 дней 13гиг трафика сожрали из 30 🙅 (провайдер на ушах 🚬)

В чем основная проблема?

- в загрузке MySQL

- в загрузке процессора

- в объеме трафика?

Оптимизацией MySQL вы вряд ли снизите трафик. Чтобы снижать трафик подойдёт например:

- zip-ние отдаваемых html-документов (но надо иметь резерв загрузки процессора)

- перенос части картинок на внешний хостинг с анлимом. Что-нибудь очень простое - можно зарубежный хостинг за 2-3 доллара в месяц и парой Гб места

Обмен ссылками с сайтами развлекательной тематики (сайт ЯК, DMOZ) (http://dotapick.ru/catalog/add.html)
12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий