Откуда мог взяться такой файл?

Меня лично удивило http://www.sajin.ru/ер. Сайт сам по себе странный о_О

В роботсе укажите:

Disallow: /?

Или 404 ошибку по несуществующим урлам отдавайте.

Какая разница откуда, не надо код 200 по несуществующим страницам отдавать. Придумать можно всякое, например на ваш сайт так сослаться - и страница будет проиндексирована. Или внутри сайта такая ссылка есть.

Mad_Man, обычная 404. У меня на одном сайте была 404 с антимультом про Масяню, очень похабным, так она какое то время собирала 6к человек в сутки. )) Не суть.

Вопрос в том, откуда берется урл/?

Str256, так 404 работает. Вон, Мад Мэн на нее сразу наткнулся.. Откуда берется страница по этому урл?

6666, движек какой? Или это чистый html? Пошарьте в настройках хоста, может страница автоматом создалась..

Скорее всего где-то стоит ссылка на этот сайт именно в таком виде:

http://www.sajin.ru/?rz=nsbo (по ошибке или намеренно)

С высокой долей вероятности, если мы сошлемся на этот сайт так:

http://www.sajin.ru/?rz=6666

То робот яндекса пробежится по этой ссылке и добавит несуществующую страницу в индекс

(а несуществующая по факту страница - просто дубликат главной страницы)

В теории вопроса... Робот-зеркальщик должен навести порядок и выкинуть такие страницы из индекса... Но лучше не ждать зеркальщика и сделать как сказал Str256

regta добавил 06.03.2010 в 22:04

Хм... "nsbo" не давал покоя...

Смотрим аналогию

http://www.podarokkartina.com/links625137.php?rz=nsbo

Старый знакомый - каталог обраток от 1ps.ru

Сайт http://www.sajin.ru/ гоняли по каталогам через 1пс, потом обратки снесли... А какие-то урлы с этого каталога еще сидят в индексе....

Ну да, сайту 5 лет, там чего только не гоняли. И 1пс и еще и не то гоняли. :) Каким образом статичный хтмл генерит страницу?

sajin.ru/1ps же не генерится... только урлы с ?

Нет там ничего сложнее, чем код от САПЫ :) Статика, хтмл, вообще нет ни одного ПХП файла..

Может какой-то каталог, проверяет наличие обратки таким образом, что этот урл попадает в индекс ПС.

НПС одни

Str256 прав, скорее всего какой-то каталог генерит окончание

Блин, я уже задумался, .... может это чо чо полезное, это nsbo.. :) Если их всего 270 в Рунете.. )

Короче, если в роботсе написать Disallow: /? то этого хватит?