Форум Поисковые системы Прочие поисковики

УРЛ запросов от msnbot'а

TY
На сайте с 11.04.2006
Offline
37
t0sYAra
1045

Столкнулся с тем, что msnbot/2.0b зачем-то к адресу страницы, которую он собирается индексировать, добавляет title. Например так: 

http://xxx.xx/raspisanie/poezd_167_sankt-peterburg_-_moskva&title=%C3%90%C2%A0%C3%82%C2%A0%C3%90%C2%A0%C3%82%C2%B0%C3%90%C2%A1%C3%90%C6%92%C3%90%C2%A0%C3%91%E2%80%94%C3%90%C2%A0%C3%91%E2%80%98%C3%90%C2%A1%C3%90%C6%92%C3%90%C2%A0%C3%82%C2%B0%C3%90%C2%A0%C3%90%E2%80%A6%C3%90%C2%A0%C3%91%E2%80%98%C3%90%C2%A0%C3%82%C2%B5%20%C3%90%C2%A0%C3%91%E2%80%94%C3%90%C2%A0%C3%91%E2%80%A2%C3%90%C2%A0%C3%82%C2%B5%C3%90%C2%A0%C3%82%C2%B7%C3%90%C2%A0%C3%92%E2%80%98%C3%90%C2%A0%C3%82%C2%B0%20167%C3%90%C2%A0%C3%A2%E2%82%AC%E2%84%A2

или так: 

http://xxx.xx/raspisanie/poezd_167_sankt-peterburg_-_moskva%20-%20%C3%90%C2%A0%C3%82%C2%A0%C3%90%C2%A0%C3%82%C2%B0%C3%90%C2%A1%C3%90%C6%92%C3%90%C2%A0%C3%91%E2%80%94%C3%90%C2%A0%C3%91%E2%80%98%C3%90%C2%A1%C3%90%C6%92%C3%90%C2%A0%C3%82%C2%B0%C3%90%C2%A0%C3%90%E2%80%A6%C3%90%C2%A0%C3%91%E2%80%98%C3%90%C2%A0%C3%82%C2%B5%20%C3%90%C2%A0%C3%91%E2%80%94%C3%90%C2%A0%C3%91%E2%80%A2%C3%90%C2%A0%C3%82%C2%B5%C3%90%C2%A0%C3%82%C2%B7%C3%90%C2%A0%C3%92%E2%80%98%C3%90%C2%A0%C3%82%C2%B0%20167%C3%90%C2%A0%C3%A2%E2%82%AC%E2%84%A2

В результате у меня его запросы блочатся, т.к. система настроена на выдачу страниц только с заранее определённым адресом безо всяких лишних параметров.

Соответственно, вопросы:

1. Зачем он это делает?

2. Может, он индексирует не только так криво, но ещё и без title?

3. Может это вообще не msnbot, а закос под него от какой-нибудь скачивающей программы?

Alex Agent
На сайте с 07.04.2011
Offline
304
Alex Agent
#1

А с каких IP-адресов приходит бот?

У меня, например, ходит с таких: 


65.54.247.149

65.54.247.142

65.54.247.141

65.52.110.93

65.52.110.92

65.52.110.91

65.52.110.90

65.52.110.89

65.52.110.88

65.52.110.87

65.52.110.86

65.52.110.85

65.52.110.84

65.52.110.83

65.52.110.82

65.52.110.81

65.52.110.80

65.52.110.79

65.52.110.78

65.52.110.77

65.52.110.76

65.52.110.75

65.52.110.74

65.52.110.73

65.52.110.72

65.52.110.71

65.52.110.69

65.52.110.68

65.52.110.67

65.52.110.66

65.52.110.65

65.52.110.64

65.52.110.56

65.52.110.55

65.52.110.54

65.52.110.53

65.52.110.52

65.52.110.51

65.52.110.50

65.52.110.49

65.52.110.48

65.52.110.47

65.52.110.46

65.52.110.45

65.52.110.44

65.52.110.43

65.52.110.42

65.52.110.41

65.52.110.40

65.52.110.39

65.52.110.38

65.52.110.37

65.52.110.36

65.52.110.35

65.52.110.34

65.52.110.33

65.52.110.32

65.52.110.31

65.52.110.30

65.52.110.29

65.52.110.28

65.52.110.27

65.52.110.26

65.52.110.25

65.52.110.24

65.52.110.23

65.52.110.22

65.52.110.21

65.52.110.20

65.52.110.19

65.52.110.18

65.52.110.17

65.52.110.15

65.52.110.14

65.52.110.13

65.52.109.61

65.52.109.60

65.52.109.59

65.52.108.60

65.52.108.59

65.52.108.58

65.52.108.14

65.52.108.13

65.52.108.12

65.52.104.48

64.4.50.210

207.46.204.244

207.46.204.243

207.46.204.242

207.46.204.241

207.46.204.240

207.46.204.239

207.46.204.238

207.46.204.237

207.46.204.236

207.46.204.235

207.46.204.234

207.46.204.233

207.46.204.232

207.46.204.231

207.46.204.230

207.46.204.229

207.46.204.227

207.46.204.223

207.46.204.219

207.46.204.218

207.46.204.204

207.46.204.202

207.46.204.197

207.46.204.196

207.46.204.195

207.46.204.194

207.46.204.193

207.46.204.192

207.46.204.191

207.46.204.190

207.46.204.189

207.46.204.188

207.46.204.187

207.46.204.186

207.46.204.184

207.46.204.182

207.46.204.181

207.46.204.180

207.46.204.179

207.46.204.178

207.46.204.177

207.46.204.167

207.46.204.166

207.46.199.55

207.46.199.54

207.46.199.53

207.46.199.52

207.46.199.51

207.46.199.50

207.46.199.49

207.46.199.48

207.46.199.47

207.46.199.46

207.46.199.45

207.46.199.44

207.46.199.43

207.46.199.42

207.46.199.40

207.46.199.39

207.46.199.38

207.46.199.37

207.46.199.29

207.46.199.169

207.46.195.242

207.46.195.241

207.46.195.240

207.46.195.239

207.46.195.237

207.46.195.236

207.46.195.235

207.46.195.234

207.46.195.233

207.46.195.232

207.46.195.231

207.46.195.230

207.46.195.229

207.46.195.228

207.46.195.227

207.46.195.226

207.46.195.225

207.46.195.224

207.46.195.223

207.46.195.107

207.46.195.106

207.46.195.105

207.46.194.96

207.46.194.76

207.46.194.125

207.46.13.99

207.46.13.98

207.46.13.97

207.46.13.96

207.46.13.95

207.46.13.94

207.46.13.93

207.46.13.92

207.46.13.91

207.46.13.90

207.46.13.89

207.46.13.88

207.46.13.87

207.46.13.86

207.46.13.85

207.46.13.84

207.46.13.54

207.46.13.53

207.46.13.52

207.46.13.51

207.46.13.50

207.46.13.49

207.46.13.48

207.46.13.47

207.46.13.46

207.46.13.45

207.46.13.44

207.46.13.43

207.46.13.42

207.46.13.41

207.46.13.40

207.46.13.148

207.46.13.147

207.46.13.146

207.46.13.145

207.46.13.144

207.46.13.143

207.46.13.142

207.46.13.141

207.46.13.140

207.46.13.139

207.46.13.138

207.46.13.137

207.46.13.136

207.46.13.135

207.46.13.134

207.46.13.133

207.46.13.132

207.46.13.131

207.46.13.101

207.46.13.100

207.46.12.73

207.46.12.65

207.46.12.64

207.46.12.28

207.46.12.241

207.46.12.240

207.46.12.239

207.46.12.238

207.46.12.237

207.46.12.236

207.46.12.22

207.46.12.211

207.46.12.207

207.46.12.165

207.46.12.154

207.46.12.121

207.46.12.112

207.46.12.110

157.55.17.105

157.55.17.104

157.55.17.103

157.55.16.231

157.55.16.230

157.55.16.229

157.55.112.241

157.55.112.227

157.55.112.220

157.55.112.219
Всему свое время. Все сами принесут и все сделают. Быстрый и выгодный перевод денег Россия ↔ Украина онлайн (http://smartwm.ru/referral/cea1f09842be).
TY
На сайте с 11.04.2006
Offline
37
t0sYAra
#2

исключительно с этого заходит: 

157.55.116.82
Mik Foxi
На сайте с 02.03.2011
Offline
1214
Mik Foxi
#3

проверяет на клоакинг и на несуществующие страницы. отдавать по таким поддельным страницам 4040 и все будет отлично.

Антибот, антиспам, веб фаервол, защита от накрутки поведенческих: https://antibot.cloud/ (Зеркало: https://антибот.рф/ ) Форум на замену серчу: https://foxi.biz/
Alex Agent
На сайте с 07.04.2011
Offline
304
Alex Agent
#4
t0sYAra:
исключительно с этого заходит: 

157.55.116.82

У меня с IP этого диапазона ходит почти исключительно вот это: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; SV1; .NET CLR 1.1.4325; .NET CLR 2.0.50727; .NET CLR 3.0.30729; .NET CLR 3.5.30707; InfoPath.2).

Видимо действительно, как уже говорили, проверяет на клоакинг.

Как определять географию IP tantal.yandex.net - новый предвестник Ошибка 403 от Яндекса

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий