В том-то и дело, что все, что мне советовали, я уже проделал. Код, отдаваемый роботу, 200 как по всем страницам, так и по robots.txt.
По логам проверил. ОК 200.
А мой сайт исчез из единственного запроса, в котором раньше был :(
А уже не ты первый про красный текст сообщаешь. Глюкает сегодня Яндекс.
Хотя получается красивенько.
Тоже интересно. kostya.info стоит в выдаче на первом месте, а вместо сайта там - ошибка 404.
Ага. Вот и у меня та же фигня.
Miha Kuzmin (KMY), мани сэнкс, я понял.
Но если я создам пустой robots.txt или robots.txt с пустым Disallow - это что-нибудь даст?
Просто у меня контент в txt-файлах, и robots.txt почему-то добавляется к списку, вызывая ошибку (по идее не должен, но добавляется - опять же надо разбираться, почему). То есть чтобы его поставить, придется переделывать скрипты. Если в этом есть смысл, то не жалко потратить время, а если смысла нет - то зачем?
Это то есть что - я могу филегетконтентом открывать на своем сайте любую инфу с любого сайта, и ко мне никаких претензий, а хозяин сам виноват, что свою инфу не закрыл?
Тем временем добрый дяденька Рамблер первым проиндексировал весь сайт целиком.
Miha Kuzmin (KMY), а смысл? И на этом форуме, и на форуме Яндекса неоднократно написано, что робот считает любой код, отличный от 200, за отсутствие robots.txt.
А как это сделать на таком хостинге?
Сами страницы, по анализу be1и т.д. отдают код 200 ОК
К слову, по моим наблюдениям, в выдаче Яндекса по смежным запросам полно сайтов с хостинга h1x.ru
