Нет, реально страниц намного меньше. Думаю, порядка 10.000. Они все создаются динамически, урлы "очеловеченные", типа - http://shashki.com/article1697.html
Нашел вот такую статистику на хостинге -
Hits by Response Code
Code 200 - OK 349538
Code 206 - Partial Content 2141
Code 301 - Moved Permanently 322
Code 302 - Found 84165
Code 304 - Not Modified 130443
Code 403 - Forbidden 18
Code 404 - Not Found 7968
Code 405 - Method Not Allowed 2
Code 406 - Not Acceptable 37
Code 416 - Requested Range Not Satisfiable 17
А есть ли возможность указывать боту просматривать только НОВЫЕ страницы ?
Я бы с удовольствием. А не посоветуете ли кого-нибудь. Если это не офф.
Сорри за может быть тупой вопрос. Если закрыть сайт от индексации ботами яндекса и гугла, то это то же самое, что убрать сайт из их каталогов ? Или я туплю ?
Вроде не хочется уходить из каталогов поисковиков, хотя пользы от этого никакой не извлекаю. Только чувство "морального удовлетворения".
Вы пишете "сайты" ... Это опечатка ? У меня всего один сайт. Есть еще старый, www.draughts.ru я его вообще ручками делал. Остался просто как "памятник истории":)
Надеюсь, что урл не сочтут рекламой:) www.shashki.com
По содержанию сайта надеюсь видно, что это некоммерческий проект.
Вы пишите - "правильно отдавать дату последней модификации документа Last-Modified и обрабатывать If-Modified-Since". А можно для чайника попроще ? Я - шашист, а не программист ... к сожалению.
Вот десятка самых прожорливых ботов. Сорри, табличка кривовато выглядит.
Top 10 of 14539 Total Sites By KBytes
# Hits Files KBytes Visits Hostname
1 862957 28.85% 571979 32.93% 43564495 49.05% 23731 14.31% ws-int000.yandex.ru
2 126800 4.24% 89515 5.15% 5769706 6.50% 9012 5.43% crawl-ru-81-222-146-31.webaltabot.com
3 110626 3.70% 82010 4.72% 5577155 6.28% 4556 2.75% sfront2-037.yandex.ru
4 110333 3.69% 81371 4.69% 5463986 6.15% 4451 2.68% sfront56.yandex.ru
5 40430 1.35% 30741 1.77% 2021285 2.28% 3599 2.17% crawl-ru-81-222-146-132.webaltabot.com
6 40508 1.35% 31023 1.79% 1777232 2.00% 19 0.01% crawl-66-249-72-164.googlebot.com
7 24405 0.82% 17388 1.00% 1248360 1.41% 36 0.02% spider1.mail.ru
8 24966 0.83% 18726 1.08% 983771 1.11% 8 0.00% crawl-66-249-66-243.googlebot.com
9 17523 0.59% 12396 0.71% 692143 0.78% 6 0.00% crawl-66-249-72-203.googlebot.com
10 15224 0.51% 10630 0.61% 587568 0.66% 15 0.01% crawl-66-249-65-236.googlebot.com
Спасибо, это уже радует. Именно так и написано.
Теперь главное, чтобы владелец не спохватился и не проплатил до 3-го января. Надеюсь, ему не того будет;)
У меня этот УД вместе с каталогом вызывают большое недопонимание.
Они самостоятельно включили мой сайт (спортивная тематика, контент только по теме, ссылки только по теме и никаких обратных ссылок с "темных" сайтов) в свой каталог. УД был 46, а в течении 2 последних месяцев уменьшился до 17. Видимо от того, что не занимаюсь акциями по продвижению своего сайта, а "всего лишь" пишу честный контент, и делаю это в течении почти 6 лет :-)
Согласен с вами. К сожалению ваше предложение мне не подходит, я ищу хостинг в России. Большинство юзеров по эту сторону океана.
P.S. Хотя как послушаешь про обыски в офисах IT компаний, сразу за рубеж хочется🙄
Модератор, перенесите это плиз в раздел юмора.
После таких постов уже не ощущаю себя таким уж чайником.
Большое спасибо всем отозвавшимся и пригласившим!
Даже не ожидал. Теперь весь в муках выбора. Тем более, что приятель дал доступ на мастерхост и я залил туда чистый нюк, без контента (база на 35 мег примерно) и уже страничка формируется 0,7 - 0,9 секунды, что совсем не так мало, а были случаю и все 10... Ну, вроде у мастерхоста проблемы с утра. Но все едино... Я понимаю, что на серваке хостера можно попасть к соседям с интернет магазинами и большими форумами, и они будут жрать ресурсы. Тут не угадаешь...
Но хочется невозможного;) и еще всего за стольник. Так что "будем искать" (С)
Кому не жалко недельки на тестирование под сайт, просьба откликнуться. Есть уже такой человек, только его хостинг с утра не грузился😮 Невезуха...
аналогично😒 с 11 по москве периодически тормоза ...
