- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Вот письмо в Яндекс с изложением проблемы:
> Два месяца назад наш старый выделенный сервер перестал выдерживать нагрузку и
> начал регулярно падать. Сайт нормально оставался в выдаче Яндекса.
> Месяц назад взяли сайту новый мощный хостинг. И у сайта пропала из выдачи
> главная страница (у Гугля, Рамблера работает без изменений). С того времени
> сайт работает почти без зависаний более 99% времени стабильно. Но в выдачу не
> возвращается. Прошел месяц, выдача не возобновилась.
> Подскажите, что нам сделать чтобы сайт вернулся в поиск.
> сайт www.auction.ua
---------------------------------------------
вот ответ из Яндекса:
Здравствуйте, Ярослав!
Посмотрел по логам робота, наш робот не может добраться до страницы
auction.ua, обрывается соединение. Если проблема соединения будет устранена,
страница вернется в базу.
--
С уважением, Платон Щукин
Служба поддержки Яндекс.Ру
http://help.yandex.ru/
--------------------------------------------
Это письмо писалось в Яндекс при посещаемости 2500 людей ежедневно. Сейчас посещаемость выросла в два раза. Сайт НЕ зависает, то есть нагрузку держит значительно большую, чем тогда когда Яндекс сказал что у их робота обрывается соединение. Подчеркну, с Гуглем, Рамблером и т.д. аналогичных проблем не наблюдается. Сайт хостится на выделенном сервере. Физически находится на украинской площадке Колокола. Админ божится, что у него все правильно сконфигурено.
Еще важный факт. Сайт рекламируется в Директе. Директ, как известно, тоже использует "простукивалку" доступности сайта (чтобы клики не шли на "висящий" сайт). И при подозрении на "недоступность" сайта, временно прекращает рекламную компанию. Так вот, Директ работает без сбоев. Тоесть, "простукивалка" Директа, считает сайт отлично рабочим.
Подскажите, где искать проблему?
За правильную подсказку готов дать 20 вмз.
С уважением, Ярослав.
ICQ 58666915
PS к админам. Оявление размещено в двух ветках, (Яндекс и администрирование) поскольку, по моему мнению, имеет отношение и туда и туда. Просьба не удалять.
Совершенно бредовая мысль возникла... А может такое быть, чтобы в список IP запрещенных для доступа к сайту, попали IP яндекса и его роботов?
попробуйте грамотный robots.txt написать
Так вот, Директ работает без сбоев. Тоесть, "простукивалка" Директа, считает сайт отлично рабочим.
Что-то я сомневаюсь, что "простукивалка" Директа так и сказала - "Считаю сайт отлично рабочим".
Web Traceroute
Please, wait...
traceroute to auction.ua (62.149.16.194) from 194.67.81.14, 30 hops max, 40 byte packets
1 NPI-F0-1-7.radio-msu.net (194.67.81.13) 11.528 ms 31.008 ms 1.543 ms
2 CORE-VL2.radio-msu.net (194.67.82.100) 1.603 ms 2.096 ms 1.617 ms
3 msk-gw.RUN.Net (193.232.80.81) 2.185 ms 2.251 ms 2.058 ms
4 spb-gw.RUN.Net (193.232.80.202) 24.460 ms 25.917 ms 24.944 ms
5 sth-gw.RUN.Net (193.232.80.206) 25.802 ms 24.311 ms 24.397 ms
6 * * *
7 ae0-2.stk30.ip.tiscali.net (213.200.72.37) 25.346 ms 24.350 ms 24.544 ms
8 so-1-1-3.ams22.ip.tiscali.net (213.200.82.250) 47.607 ms 44.455 ms 43.415 ms
9 ge-6-0-0-zcr2.amt.cw.net (195.2.10.229) 45.504 ms 43.200 ms 43.616 ms
10 so-3-0-0-bcr3.amd.cw.net (208.173.209.197) 44.449 ms 43.604 ms 43.193 ms
11 so-1-3-0-dcr1.amd.cw.net (195.2.10.26) 43.689 ms 43.449 ms 43.836 ms
12 so-0-0-0-dcr2.fra.cw.net (195.2.10.150) 52.273 ms 52.391 ms 52.250 ms
13 ge-2-0-0-101-dcr2.fra.cw.net (62.208.242.105) 53.651 ms 53.466 ms ge-1-3-0-100-zpr1.dcx.cw.net (62.208.242.97) 52.013 ms
14 itsinternet-gw.dcx.cw.net (62.208.252.74) 81.825 ms 82.238 ms 81.944 ms
15 maia-its-gw.colocall.net (62.149.2.229) 82.282 ms 311.306 ms 283.131 ms
16 athena.colocall.net (62.149.2.108) 82.766 ms 82.877 ms 82.283 ms
17 * * *
18 * * *
19 * * *
20 * * *
21 * * *
22 * * *
23 * * *
24 * * *
25 * * *
26 * * *
27 * * *
28 * * *
29 * * *
30 * * *
Ваша ситуация мне напомнила эту:
/ru/forum/90284
Промёл небольшое исследование. Обнаружилось, что ваш сайт и тот выдаёт в зоголовках следующее:
Connection: Keep-Alive
Сайт Гора:
Connection: Keep-Alive
Для сравнения у СЕ:
Connection: Keep-Alive
Мой сайт и ещё несколько других (в том числе и сам яндекс):
Варианты решения:
1. Попробовать увеличить таймаут.
2. Попробовать таки в заголовках отправлять инструкцию для закрытия соединения.
Думаю, можно просто скриптом формировать корректные заголовки.
Ответ Платона как раз подходит под версию, что робот просто не успевает получить ответ, так как вылетает по этому таймауту.
После увеличения таймаута или изменения типа соединения попробуйте обратиться к Платону с письмом перепроверить реакцию робота на ваш домен.
В случае успеха можете сообщить так же о проведённых манипуляциях - это облегчит жизнь вашим последователям.
Вот письмо в Яндекс с изложением проблемы:
Подскажите, где искать проблему?
За правильную подсказку готов дать 20 вмз.
Подсказываю. Надо посмотреть логи веб сервера на предмет отдачи страниц боту яндекса и статуса оной отдачи.
Еще важный факт. Сайт рекламируется в Директе. Директ, как известно, тоже использует "простукивалку" доступности сайта (чтобы клики не шли на "висящий" сайт). И при подозрении на "недоступность" сайта, временно прекращает рекламную компанию. Так вот, Директ работает без сбоев. Тоесть, "простукивалка" Директа, считает сайт отлично рабочим.
Простукивалка Директа не качает страницу, а просто проверяет доступность сайта.
dkameleon, таймаут keep-alive тут не причем - сервер бы просто открывал новое соединение.
Я бы посоветовал посмотреть на параметр Timeout апача - возможно, соединение все же рвется. Если там все в порядке - попробуйте покопать в сторону MTU сервера, с ним часто бывают проблемы.
добрый день .
тепер таймоут сервер уже поставил "Timeout 150"
по поводу робота яндекса после етого в логах сайта вот такое:
87.250.230.7 - - [24/Nov/2006:00:05:56 +0000] "GET /wanted.categories.php?parent=1881&start=720&orderField=itemname&orderType=ASC HTTP/1.1" 200 62355 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.230.7 - - [24/Nov/2006:00:08:26 +0000] "GET /wanted.categories.php?parent=1881&start=720&orderField=itemname&orderType=ASC HTTP/1.1" 200 62239 "-" "Yandex/1.01.001 (compatible; Win16; I)"
213.180.206.223 - - [24/Nov/2006:03:21:10 +0000] "GET /robots.txt HTTP/1.1" 200 0 "-" "Yandex/1.03.003 (compatible; Win16; D)"
213.180.206.223 - - [24/Nov/2006:03:21:20 +0000] "GET /cat/1881.htm HTTP/1.1" 200 62137 "-" "Yandex/1.03.003 (compatible; Win16; D)"
213.180.206.11 - - [24/Nov/2006:06:27:08 +0000] "GET /robots.txt HTTP/1.1" 200 0 "-" "Yandex/1.01.001 (compatible; Win16; I)"
213.180.206.11 - - [24/Nov/2006:06:27:09 +0000] "GET /wanted.categories.php?parent=2105 HTTP/1.1" 200 42950 "-" "Yandex/1.01.001 (compatible; Win16; I)"
213.180.206.11 - - [24/Nov/2006:06:29:40 +0000] "GET /wanted.categories.php?parent=2102 HTTP/1.1" 200 42676 "-" "Yandex/1.01.001 (compatible; Win16; I)"
213.180.206.11 - - [24/Nov/2006:06:32:10 +0000] "GET /wanted.categories.php?parent=2102 HTTP/1.1" 200 42770 "-" "Yandex/1.01.001 (compatible; Win16; I)"
213.180.206.11 - - [24/Nov/2006:08:02:38 +0000] "GET /robots.txt HTTP/1.1" 200 0 "-" "Yandex/1.01.001 (compatible; Win16; I)"
213.180.206.11 - - [24/Nov/2006:08:02:39 +0000] "GET /categories.php?start=440&parent=1246&orderField=enddate&orderType=ASC HTTP/1.1" 200 25616 "-" "Yandex/1.01.001 (compatible; Win16; I)"
213.180.206.11 - - [24/Nov/2006:08:05:10 +0000] "GET /wanted.categories.php?parent=634&start=&orderField=enddate&orderType=DESC HTTP/1.1" 200 43108 "-" "Yandex/1.01.001 (compatible; Win16; I)"
213.180.206.11 - - [24/Nov/2006:08:07:40 +0000] "GET /wanted.categories.php?parent=634&start=&orderField=enddate&orderType=DESC HTTP/1.1" 200 43122 "-" "Yandex/1.01.001 (compatible; Win16; I)"
перед етим (не все строчки лога за один день, но им не много)
87.250.230.7 - - [20/Nov/2006:23:39:30 +0000] "GET /wanted.categories.php?parent=1085&start=60&orderField=itemname&orderType=ASC HTTP/1.1" 200 44112 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.230.7 - - [20/Nov/2006:23:42:01 +0000] "GET /shop.php?parent=557&start=&orderField=nrbids&orderType=ASC&userid=2684&parent=557 HTTP/1.1" 200 36712 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.230.7 - - [20/Nov/2006:23:44:31 +0000] "GET /shop.php?parent=557&start=&orderField=nrbids&orderType=ASC&userid=2684&parent=557 HTTP/1.1" 200 36679 "-" "Yandex/1.01.001 (compatible; Win16; I)"
213.180.217.219 - - [20/Nov/2006:23:45:33 +0000] "GET /robots.txt HTTP/1.1" 200 0 "-" "Yandex/1.01.001 (compatible; Win16; P)"
213.180.217.219 - - [20/Nov/2006:23:45:34 +0000] "GET /makethumb.php?pic=uplimg/mb5_7e9c12eedf185df5264859c2173604c8_mainpic.tmp&w=60&sq=Y HTTP/1.1" 200 1549 "-" "Yandex/1.01.001 (compatible; Win16; P)"
213.180.217.219 - - [20/Nov/2006:23:48:05 +0000] "GET /makethumb.php?pic=uplimg/a4943_mainpic.tmp&w=60&sq=Y HTTP/1.1" 200 1698 "-" "Yandex/1.01.001 (compatible; Win16; P)"
213.180.217.219 - - [20/Nov/2006:23:50:35 +0000] "GET /makethumb.php?pic=uplimg/a4943_mainpic.tmp&w=60&sq=Y HTTP/1.1" 200 1698 "-" "Yandex/1.01.001 (compatible; Win16; P)"
и еще: Яндекс имеет старие проиндексирование странице, на сайте сейчас уже 4 недели используетса mod_rewrite и нету таких длинних ссилок а намного короче (например /ads/580/1886/enddate/DESC).. а он их не обновляет насколько я понимаю .
также бил прислан письмом ответ
auction.ua, обрывается соединение. Если проблема соединения будет устранена,
страница вернется в базу.
сервер действительно сильно нагружен но как минимум ноччю у него нет нагрузки, и в логах есть следи робота в етот час ...
Если на сайте есть Refresh, ето влияет как-то ??
и еще вопрос..
есть другой сайт на етом самом сервере lotok.com.ua
я з помощю http://webmaster.yandex.ru/ добавить его
но мне видает "Ошибка выполнения операции. Вернитесь на форму ввода и попробуйте еще раз." , а логах сайта:
213.180.206.223 - - [24/Nov/2006:12:29:40 +0000] "GET /robots.txt HTTP/1.1" 200 0 "-" "Yandex/1.03.003 (compatible; Win16; D)"
213.180.206.223 - - [24/Nov/2006:12:29:51 +0000] "GET / HTTP/1.1" 200 62545 "-" "Yandex/1.03.003 (compatible; Win16; D)"
?????
Всем спасибо за советы.
Жаль что не помогло.
Вообщем, прошли три недели.
Посещаемость нашего интернет-аукциона www.AUCTION.ua еще выросла, до 7000 людей ежедневно.
Стабильность работы сервера выше некуда - 100% (по информации счетчика http://uptime.ru/downtime.php?host_id=2338)
Все другие поисковики регулярно индексируют сайт.
А Яндекс дальше никак не может с этим справится.
Что делать?
Ставки поднимаются. Готов дать уже 50 уе, за дельную помощь.
некоторые идеи в паралельном разделе по Яндексу
/ru/forum/comment/1678404
попробуйте открыть соединение с яндексом через сокеты с Вашего сайта...например скрипт на php через fsockopen()
вот...собственно...или сделать ping и tracert с сервера...
и соответственно посмотреть ошибки соединения