- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта
Применяем отклонение ссылок
Сервис Rookee
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Сразу хочу сказать что 78.109.28.40 Это основной IP сервера ) тоесть Яндекс бот находится прямо на моем сервере
Я бы конечно сам пинял на ngnix но реальный бот и все пользватели определяются нормально )
77.88.24.25 - - [04/May/2008:02:28:31 +0300] "GET /index.html HTTP/1.1" 404 331 "-" "Yandex/1.01.001 (compatible; Win16; I)"
Вы явно запутались в своих логах. Скорее всего имеет место быть два явления. Связка nginx-апач настроена некорректно и не фиксирует реальный IP. А IP вашего "реального бота" зафиксирован до установки nginx.
Другое объяснение полноценных TCP-сессий с вашим исходящим айпишником в логах может быть лишь одно: бот сидит у вас.
ЗЫ. Прежде, чем поднимать публичный шум, вам следует хоть наискосок прочитать учебник по сетевым протоколам. Администрировать сервер без элементарных знаний, по меньшей мере странно.
Вы явно запутались в своих логах. Скорее всего имеет место быть два явления. Связка nginx-апач настроена некорректно и не фиксирует реальный IP. А IP вашего "реального бота" зафиксирован до установки nginx.
Другое объяснение полноценных TCP-сессий с вашим исходящим айпишником в логах может быть лишь одно: бот сидит у вас.
ЗЫ. Прежде, чем поднимать публичный шум, вам следует хоть наискосок прочитать учебник по сетевым протоколам. Администрировать сервер без элементарных знаний, по меньшей мере странно.
Сам линукс я знаю отлично не первый год это основаня система win через виртуал работает. А вот в протоколах настойки Web сервера действительно мог запутатся, сейчас все проверяю и перепроверяю про IP тут возможно мой косяк так как ngnix сидит на 8080 порту на фронтенде но это не отменят того что ломится такое кол-во ботов на пустой домен!
И как я уже говорил что такое явление было практически с первого дня работы. Просто тогда IP , было другое смахивало на реальное IP ботов.
Ради эксперемента было отправлено письмо в Яндекс на что был получен ответ что бот не знает о вашем сайте и следовательно его там небыло.
Я в принципе не поднимал никакого особого шума просто отписал проблему и где она происходит никого не обвиняя )
Бота у меня на сервере нет проверил все, увереность процентов так на 98%)🙄
Да и трезво разобратся бот яндекса не станет делать 11к хитов на один файл с перерывом 2 секунды.
XeonN добавил 05.05.2008 в 09:23
Ммм, сообщили что это остаточные явления от предыдущего хостера топ можно закрыть )
Я в принципе не поднимал никакого особого шума просто отписал проблему и где она происходит никого не обвиняя )
Тогда вам следовало разместить свой топик в разделе "администрирование серверов" и назвать его по-другому.
В настройках логов настройте запись виртуальных хостов, таким образом увидите на какое имя сыпятся запросы : %v (apache - LogFormat) / $host (nginx - log_format)
Да и трезво разобратся бот яндекса не станет делать 11к хитов на один файл с перерывом 2 секунды.
там вроде куча поддоменов на этом доре, может по ним и прошелся
если ип юзается недавно относительно то вполне может быть что до вас на нем кто то сидел с изрядной посещаемостью и поскольку кеши еще где то болтаются то и валят к вам с запросами на вордпресс которого там давно нет. вы еще скажите спасибо что не стоял какой нибудь командный центр ботнета - то то было бы удовольствия когда боты стали бы к вам ломиться:)
Была аналогичная ситуация, до сих пор гугл считает новый сайт зеркалом старого всего лишь потому, что айпишник сервера был занят этим уже мертвым 2 месяца новостным сайтом.
Надо будет прикупить тот домен: ссылок не меряно :-)
Можете попросить сменить айпишник на более "чистый", без истории.
А хостер здесь действительно не причем, так что пиняйте на себя только.
mstar добавил 05.05.2008 в 10:39
Кстати вполне реальный вариант я про него что-то неподумал 🙄, хотя это не объяснит 11302 запросов к robots.txt ) что бота так заинтересовало ?)))
так может на том хосте было пару тысяч (десятков тысяч) гавносайтов хтмлных.
А Вы тут на хостера косяки перенаправляете.
А Вы тут на хостера косяки перенаправляете.
По сути, это и есть косяк хостёра. Хостёр знает что было на этом IP и может его заменить.
Все я думаю темку можно закрыть ) проблему нашли, я просто первый раз с таким кол вом запросов сталкиваюсь, это сколько говносайтов нужно было подвесить что-бы поиметь столько запросов ))))
XeonN добавил 05.05.2008 в 11:06
Такое только на 2-х IP встречалось нужно было догадатся )
По сути, это и есть косяк хостёра. Хостёр знает что было на этом IP и может его заменить.
У датацентра несколько иные функции, нежели контроль за взаимоотношениями клиентов с поисковыми системами.