- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
можно воркеров добавить
гникс любит отдавать 500, если их не хватает
правда если это какой нибудь слабенький впс, то может и не пройдет такой "фикс"
66.249.78.222 - - [09/Jun/2013:12:10:46 +0400] "GET /robots.txt HTTP/1.1" 500 449 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.78.149 - - [09/Jun/2013:12:10:47 +0400] "GET /421217 HTTP/1.1" 200 4343 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.78.149 - - [09/Jun/2013:12:10:51 +0400] "GET /283511 HTTP/1.1" 200 4349 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
по агенту точно нет ограничения, доступ 100% есть - открывается как в браузере так и через google.com/webmasters/tools
может IP забанен?? как проверить?
---------- Добавлено 09.06.2013 в 16:25 ----------
правда если это какой нибудь слабенький впс
это было бы видно в целом по мониторингу - но там всё ок..
---------- Добавлено 09.06.2013 в 16:27 ----------
.htaccess уровнем выше?
не обнаружил вообще :(
смотрите error_log
iHead, про robots.txt ни слова
musitann, может ip 66.249.78.222 у вас на сервере забанен? другие страницы с этого ипа запрашивались?
Ищите внимательней и поглядите логи
foxi, а как проверить забанен ли IP ?
============
проверил так
ничего не нашло
Проверьте _http://ip/robots.txt .
tls, по IP он не доступен
это было бы видно в целом по мониторингу - но там всё ок.
Вот это далеко не факт.
500 сыпятся обычно при множественных запросах. Такое может быть к примеру при ddos. Следствие того, что гникс не успевает обработать все. Вполне укладывается в сканирование гуглом.
На слабом VPS это вообще себе обыденное явление.
Попробуйте протестировать сайт под нагрузкой. Были какие то онлайн сервисы для таких целей. Через гугл можно найти. По идее должно тоже отвалиться.
Ну подумайте сами, почему мониторинги молчат и только при сканировании гуглом есть 500?
Мониторинги не парсят ваш сайт кучей запросов в секунду же.