- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Зачем быть уникальным в мире, где все можно скопировать
Почему так важна уникальность текста и как она влияет на SEO
Ingate Organic
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
У меня два вопроса, уважаемые коллеги!
1)Смотрела свой лог-файл с сервера... запись "Yandex" встречается там только два раза, да и то в прошлом году .... хотя я уже много работала со своим сайтом, обновляла содержание и т.п. В поиске содержание-description показывается новое... Всё выглядит так, будто сайт просматривается роботом, но в логах записей на этот счёт нет..
Строки выглядят как:
[03/Apr/2003:19:35:34 +0400] "GET /cgi/stat/sts.cgi?y=2003&m=04&d=03&url=http://www.yandex.ru&ips=1 HTTP/1.1" 200 1702
Понятно, что это не бот... И почему у меня только две записи с яндекса за всё это время (Хотлог и прочие счётчики отмечают такие заходы... их гораздо больше чем 2)
2) Что, собственно называется "индексацией"? Понятно, что это в первую очередь регистрация сайта (т.е. учёт всех его страниц и содержания). И бывает ли индексация ссылок (на этот сайт)?
Скорее всего в лог-файлы не пишется поле User-Agent. Поэтому по слову "Yandex" не определишь. Вот пример как должно быть:
213.180.210.1 - - [08/Jun/2004:07:42:55 -0700] "GET /robots.txt HTTP/1.1" 200 33 "-" "Yandex/1.01.001 (compatible; Win16; I)"
Посмотрите запросы по IP адресу 213.180.210.1, они у вас определенно есть. Например 14-ого мая 2004 :)
Посмотрите запросы по IP адресу 213.180.210.1, они у вас определенно есть. Например 14-ого мая 2004 :)
Спасибо, я нашла такую запись... но как мне определить индексный ли это бот или какой другой (насколько я начиталась на этом и других форумах.. боты могут специализироваться на разных функциях)? И вообще где люди берут списки всех IP-адресов яндексных и прочих ботов?
P.S. Хитро вы как-то улыбаетесь 😕 откуда вы узнали про такие мои! запросы? Попробовала проследить ваши "пути"... обратилась к открытой статистике хотлога, но там этого айпишника за это число не оказалось почему-то...Как вы это проделали?
Я полагаю не стоит ломать себе голову с типами ботов. Неужели Вам будет легче когда узнаете, что в 13:01 к вам зашел msnbot/0.11, а в 13:02 зашел "Yandex/1.01.001 (compatible; Win16; P)"? :)
Анна, роботы не берут картинки, поэтому вы их не увидите в статистике хотлога и других счетчиков. Их легко идентифицировать по User-Agent. Можно также смотреть IP-адреса, но это уже лишнее.
Сомневаюсь, что за полгода Яндекс ни разу не зашел. Ищите строки
Yandex/
Анна Жю, надо в настройках Апача определить формат лог-файлов, как combined, тогда в логах будут сохраняться User-agent, по ним можно будет смотреть за посещениями роботов.
Анна, роботы не берут картинки, поэтому вы их не увидите в статистике хотлога и других счетчиков. Их легко идентифицировать по User-Agent. Можно также смотреть IP-адреса, но это уже лишнее.
Сомневаюсь, что за полгода Яндекс ни разу не зашел. Ищите строки
Yandex/
Он, конечно, заходил, иначе бы мои изменённые страницы не индексировались! Мне уже объяснил "вышестоящий" товарищ, что дело в настройках лог-файла... слова Yandex там действительно нет, зато есть яндексовские IP-адреса.. правда не все его адреса я знаю.. Прийдётся ставить Апача... Меня другая проблема сейчас беспокоит: Почему вот уже больше трёх-пяти месяцев внешние ссылки на мой сайт не учитываются? Валяются в списке ИЦ ссылки древние какие-то.
Я полагаю не стоит ломать себе голову с типами ботов. Неужели Вам будет легче когда узнаете, что в 13:01 к вам зашел msnbot/0.11, а в 13:02 зашел "Yandex/1.01.001 (compatible; Win16; P)"? :)
А как иначе узнать дату индексации?!
P.S. Не вежливо уходить от вопросов о том, каким образом Вам стали извесны мои логи..:( Нехорошо маленьких обижать 🙅
:)
P.S. Не вежливо уходить от вопросов о том, каким образом Вам стали извесны мои логи..:( Нехорошо маленьких обижать 🙅
:)
Я ведь Вам вчера послал личное сообщение :)
Анна Жю, надо в настройках Апача определить формат лог-файлов, как combined, тогда в логах будут сохраняться User-agent, по ним можно будет смотреть за посещениями роботов.
Всегда приятно, когда незнакомые люди бывают отзывчивы к чужим проблемам :) Спасибо вам большое за совет и советы..
Скачала вот программу GREP.. она для этих целей не подойдёт?
grep - это самое оно, если у вас есть сами логи.