Ошибка в ДНК! :)))

25

Pulzar

27 февраля 2006, 09:43

1655

Ну не индексирует правильно ни один мой сайт лопух, мать его!

С гуглей полегче, если можно вообще о гугле так говорит, но тоже далеко не фонтан :((((

:no: Поле просмотра с похмелья своих сайтов я пришел к выводу что таки либо у меня ошибка в ДНК, что скорее всего, толи yahoo в упор не видит мои сайты. Посему пишу к гуру!

Хелп! Какую программу надо использовать для анализа логов, точнее какая из них знает ботов yahoo на отлично!?

И что еще можно предпринять? Остальные поисковики (ya., aport, rambler и иже с ними сайт проиндексирован вдоль и поперек и виден на первых позициях)

Причем не важно будь это автоматически сгенерированный сайт или вкрадчиво сделанный ручками...

Биржа прямых текстовых ссылок - Pulzar (trader.pulzar.ru)

328

K. Ermakov

27 февраля 2006, 09:53

#1

Pulzar:
какая из них знает ботов yahoo на отлично

Semonitor знает.

Специально с автором программы решали вопрос о ботах yahoo.

С уважением, Константин Ермаков, absite.ru: онлайн кроссворды (http://absite.ru/); searchsuggest.ru: поисковые подсказки доставляют (http://searchsuggest.ru/).

25

Pulzar

27 февраля 2006, 10:18

#2

А можно точнее, как НАДО посмотреть?

328

K. Ermakov

27 февраля 2006, 10:37

#3

Pulzar:
А можно точнее, как НАДО посмотреть?

Открываете Семонитор. В нём - лог анализатор.

В нём открываете Ваши лог-файлы ("Добавить файлы").

Отмечаете интересующие Вас поисковые системы. В данном случае - Yahoo (но никто не мешает отметить все или несколько).

Делаете анализ.

Смотрите пункт "Поисковые роботы".

Еще раз о статистике Как повлиять на скорость Semonitor 3.0 - программа

25

Pulzar

27 февраля 2006, 11:07

#4

😒

Spider Page Host Date IP Status Log record

Yahoo robots.txt 68.142.250.154 23.02.2006 68.142.250.154 200 68.142.250.154 pulzar.ru - [23/Feb/2006:13:33:43 +0300] "GET /robots.txt HTTP/1.0" 200 170 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

Yahoo / 68.142.249.185 23.02.2006 68.142.249.185 200 68.142.249.185 pulzar.ru - [23/Feb/2006:13:33:44 +0300] "GET / HTTP/1.0" 200 9242 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

Yahoo robots.txt 68.142.250.163 26.02.2006 68.142.250.163 404 68.142.250.163 pulzar.ru - [26/Feb/2006:16:09:13 +0300] "GET /robots.txt HTTP/1.0" 404 274 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

Yahoo / 68.142.249.185 26.02.2006 68.142.249.185 200 68.142.249.185 pulzar.ru - [26/Feb/2006:16:09:14 +0300] "GET / HTTP/1.0" 200 10875 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

Yahoo robots.txt 72.30.132.140 27.02.2006 72.30.132.140 200 72.30.132.140 pulzar.ru - [27/Feb/2006:02:56:07 +0300] "GET /robots.txt HTTP/1.0" 200 170 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

Yahoo index.php 72.30.133.160 27.02.2006 72.30.133.160 404 72.30.133.160 pulzar.ru - [27/Feb/2006:03:06:45 +0300] "GET /index.php HTTP/1.0" 404 269 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

Yahoo robots.txt 68.142.251.179 27.02.2006 68.142.251.179 200 68.142.251.179 pulzar.ru - [27/Feb/2006:03:37:23 +0300] "GET /robots.txt HTTP/1.0" 200 170 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

Yahoo index.php 68.142.249.141 27.02.2006 68.142.249.141 404 68.142.249.141 pulzar.ru - [27/Feb/2006:03:37:24 +0300] "GET /index.php HTTP/1.0" 404 269 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

Итак вывод прост, лопуховый гусениц не впиливает в robot.txt причем не впиливает по полной.

Хелп киньте пример рабочего robot.txt и просьба, не нада из Нильсона, я его на изусть помню. 😕

K. Ermakov:
Открываете Семонитор. В нём - лог анализатор.
В нём открываете Ваши лог-файлы ("Добавить файлы").
Отмечаете интересующие Вас поисковые системы. В данном случае - Yahoo (но никто не мешает отметить все или несколько).
Делаете анализ.
Смотрите пункт "Поисковые роботы".

Ок сделал, пасибки.

Статистика запросов по теме Роман Мандрик Вирусный маркетинг: Методика Н. Харина-И.Ашманова для

328

K. Ermakov

27 февраля 2006, 11:20

#5

Pulzar:
лопуховый гусениц не впиливает в robot.txt причем не впиливает по полной

Почему Вы сделали такой вывод?

У Вас, вроде бы, index.php код 404 возвращает. Вот yahoo ничего и не ест

25

Pulzar

27 февраля 2006, 11:23

#6

K. Ermakov:
Почему Вы сделали такой вывод?
У Вас, вроде бы, index.php код 404 возвращает. Вот yahoo ничего и не ест

Так его там и нету.

У меня index.html

328

K. Ermakov

27 февраля 2006, 11:48

#7

Pulzar:
Так его там и нету.
У меня index.html

А почему бот усиленно на index.php ломится?

Нет ли у Вас чего-нибудь на эту тему в .htaccess?

25

Pulzar

27 февраля 2006, 12:43

#8

и его у меня нету.

Сейчас конечно создам index.php,

но это проблему не решит, таких сайтов у меня с десяток

и зачем писать в robots.txt

Host: pulzar.ru ????!!! это часом не косяк, на форуме накопал.

Да и вот что, на народе например .htaccess запрещен и лопух тоже нифига не видит....

В итоге, все кривые запросы отдиректил на index, напряг хотера пусть бубен чешет и темку ему подкинул http://sitemaker.ru/technologies/webserver/mod_rewrite3/

мама не горюй))))

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие

60

Dwarf

28 февраля 2006, 09:12

#9

Pulzar, при ближайшем рассмотрении сайта pulzar.ru обнаружилась вот такая хрень (хрень выделена красным):


telnet pulzar.ru:80

GET / HTTP/1.1

Host: pulzar.ru

Accept: text/html



HTTP/1.1 200 OK

Date: Tue, 28 Feb 2006 09:01:18 GMT

Server: Apache/1.3.33 (Unix) mod_fastcgi/2.4.0 FrontPage/5.0.2.2623 PHP/4.3.10 m

od_gzip/1.3.19.1a mod_ssl/2.8.22 OpenSSL/0.9.7b rus/PL30.20

X-Powered-By: PHP/4.3.10

Connection: close

Transfer-Encoding: chunked

Content-Type: text/html; charset=windows-1251

Vary: accept-charset, user-agent



d5f

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">

Хрень напоминает BOM сигнатуру в начале UTF файла. Только у вас она какая-то кривая (хотя может так телнет кажет).

http://www.factbites.com/topics/Byte-Order-Mark

Вы файлы не в UTF создаете-редактируете?

Деревянные окна (http://www.wood-win.ru/)

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие

25

Pulzar

28 февраля 2006, 12:52

#10

Dwarf:
Pulzar, при ближайшем рассмотрении сайта pulzar.ru обнаружилась вот такая хрень (хрень выделена красным):


telnet pulzar.ru:80

GET / HTTP/1.1

Host: pulzar.ru

Accept: text/html



HTTP/1.1 200 OK

Date: Tue, 28 Feb 2006 09:01:18 GMT

Server: Apache/1.3.33 (Unix) mod_fastcgi/2.4.0 FrontPage/5.0.2.2623 PHP/4.3.10 m

od_gzip/1.3.19.1a mod_ssl/2.8.22 OpenSSL/0.9.7b rus/PL30.20

X-Powered-By: PHP/4.3.10

Connection: close

Transfer-Encoding: chunked

Content-Type: text/html; charset=windows-1251

Vary: accept-charset, user-agent



d5f

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">

Хрень напоминает BOM сигнатуру в начале UTF файла. Только у вас она какая-то кривая (хотя может так телнет кажет).
http://www.factbites.com/topics/Byte-Order-Mark
Вы файлы не в UTF создаете-редактируете?

Спасибо, интересно

😒 Данный файл UTF8 - нет, в HomeSite ручками.

здесь не вижу смысла юникод вруливать.

Как можно вылечить?

За сегодня

Yahoo / 68.142.251.158 28.02.2006 68.142.251.158 200 68.142.251.158 pulzar.ru - [28/Feb/2006:04:11:28 +0300] "GET / HTTP/1.0" 200 17658 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

Yahoo / 68.142.251.158 28.02.2006 68.142.251.158 200 68.142.251.158 pulzar.ru - [28/Feb/2006:06:21:19 +0300] "GET / HTTP/1.0" 200 17658 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

Yahoo / 68.142.251.158 28.02.2006 68.142.251.158 200 68.142.251.158 pulzar.ru - [28/Feb/2006:07:38:14 +0300] "GET / HTTP/1.0" 200 17658 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

Yahoo / 68.142.251.158 28.02.2006 68.142.251.158 200 68.142.251.158 pulzar.ru - [28/Feb/2006:09:02:43 +0300] "GET / HTTP/1.0" 200 17658 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

Yahoo / 72.30.128.162 28.02.2006 72.30.128.162 200 72.30.128.162 pulzar.ru - [28/Feb/2006:10:22:10 +0300] "GET / HTTP/1.0" 200 17658 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

Yahoo / 68.142.251.158 28.02.2006 68.142.251.158 200 68.142.251.158 pulzar.ru - [28/Feb/2006:12:37:14 +0300] "GET / HTTP/1.0" 200 17658 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

Yahoo / 72.30.128.162 28.02.2006 72.30.128.162 200 72.30.128.162 pulzar.ru - [28/Feb/2006:13:04:55 +0300] "GET / HTTP/1.0" 200 17658 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

Yahoo robots.txt 72.30.110.29 28.02.2006 72.30.110.29 200 72.30.110.29 pulzar.ru - [28/Feb/2006:13:04:57 +0300] "GET /robots.txt HTTP/1.0" 200 25 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

Yahoo / 72.30.132.16 28.02.2006 72.30.132.16 200 72.30.132.16 pulzar.ru - [28/Feb/2006:13:05:08 +0300] "GET / HTTP/1.0" 200 17658 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

Yahoo / 68.142.250.31 28.02.2006 68.142.250.31 200 68.142.250.31 pulzar.ru - [28/Feb/2006:13:09:46 +0300] "GET / HTTP/1.0" 200 17658 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

Yahoo / 68.142.251.158 28.02.2006 68.142.251.158 200 68.142.251.158 pulzar.ru - [28/Feb/2006:13:32:54 +0300] "GET / HTTP/1.0" 200 17658 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

Yahoo / 68.142.251.158 28.02.2006 68.142.251.158 200 68.142.251.158 pulzar.ru - [28/Feb/2006:14:17:45 +0300] "GET / HTTP/1.0" 200 17658 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

Yahoo / 68.142.250.31 28.02.2006 68.142.250.31 200 68.142.250.31 pulzar.ru - [28/Feb/2006:14:24:44 +0300] "GET / HTTP/1.0" 200 17658 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

Yahoo / 72.30.128.162 28.02.2006 72.30.128.162 200 72.30.128.162 pulzar.ru - [28/Feb/2006:15:00:51 +0300] "GET / HTTP/1.0" 200 17658 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

Yahoo / 68.142.249.20 28.02.2006 68.142.249.20 200 68.142.249.20 pulzar.ru - [28/Feb/2006:15:05:46 +0300] "GET / HTTP/1.0" 200 17658 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

Yahoo / 68.142.251.158 28.02.2006 68.142.251.158 200 68.142.251.158 pulzar.ru - [28/Feb/2006:15:22:08 +0300] "GET / HTTP/1.0" 200 17658 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

Yahoo / 72.30.132.162 28.02.2006 72.30.132.162 200 72.30.132.162 pulzar.ru - [28/Feb/2006:15:31:26 +0300] "GET / HTTP/1.0" 200 17658 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

Yahoo / 72.30.132.215 28.02.2006 72.30.132.215 200 72.30.132.215 pulzar.ru - [28/Feb/2006:15:51:45 +0300] "GET / HTTP/1.0" 200 17658 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

Yahoo / 72.30.128.162 28.02.2006 72.30.128.162 200 72.30.128.162 pulzar.ru - [28/Feb/2006:16:01:15 +0300] "GET / HTTP/1.0" 200 17658 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

Yahoo / 68.142.251.158 28.02.2006 68.142.251.158 200 68.142.251.158 pulzar.ru - [28/Feb/2006:16:46:47 +0300] "GET / HTTP/1.0" 200 17658 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

eTarget 2011: Круглый стол Недавние исследования поведения пользователей Статистика запросов по теме

Open AI тестирует память для ChatGPT

Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы