- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Ситуация. Статичный сайт, чистые html, скриптов отвечающих за навигацию нет, единственное скриптики на java по выводу погоды, последних тем форума. Но все ссылки по самому сайту – тупо прописаны в html, и не генерируются.
Смотрю лог и далеко не первый раз вижу вот такое:
Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) сразу вопрос, у Google такой агент?
И лезет он зачем то через двойные слеши вот пример
/news\\hot_news\\arh1\\isk121205.html
Так он долбит страниц 50 из которых на одну залазит нормально /news/news.html естественно получая на остальные ответ сервера 404 и уходит восвояси. Сегодня заходил в 2 часа ночи в 3 и в 11, страницы долбил разные.
Так уже не первый раз. Это зачем так??
Остальные поисковики нормально бегают.
Тем не менее сайт мотихоньку индексируется.
Прочитал как: "Зачем Гуглбот делает ЭТО?"
Озадачился.
Ну да делает он так. Ищет мало ли где чего спрятали.
Еще он robots.txt большой любитель игнорировать.
Зачем не знаю, не спрашивал, и не скажут если спрошу.
У меня было что гуглебот запрашивает имаджи, которых уже нет, но делает это очень часто почему-то, это и замусоривает логи.
VladimirV, Во-первых, надо задать вопрос, гугльбот ли это, во-вторых, смотри свои яваскрипты может там есть какие ссылки, ну и в-третьих, смотри структуру сайта и логи, может где ошибка вкралась, а может и ссылается кто-то с ошибкой.
VladimirV, Во-первых, надо задать вопрос, гугльбот ли это, во-вторых, смотри свои яваскрипты может там есть какие ссылки, ну и в-третьих, смотри структуру сайта и логи, может где ошибка вкралась, а может и ссылается кто-то с ошибкой.
- так и задал вопроб про гугльбот :)
- так написал что в яваскриптах ничего нет, там погоду с фобоса выводит скрипт и все, а навигации по сайту на скриптах нет, чистый html
- смотрю логи смотрю, только этот агент и косячит так, хотя иногда и нормально по страничкам ходит, странно короче.
VladimirV, Хм... а айпишник смотрели? точно гугльботовский?
Угу
66.249.65.65
OrgName: Google Inc.
OrgID: GOGL
Address: 1600 Amphitheatre Parkway
City: Mountain View
StateProv: CA
PostalCode: 94043
Country: US
И так далее
Опять вот заходил, половину из того что тыркал нормально, половину так же. Может он это проверяет скриптами формируются ссылки или статика...
Без урла сайта никто толком не ответит...