Опять про robots.txt

Стрела, проверить можно здесь

Но посмотрите, что у вас выдается вместо файла robots.txt:

http://www.texmash.ru/robots.txt

http://texmash.ru/robots.txt

Это надо исправлять! ☝

Я что-то никак понять не могу, почему такое получается?????

Это Вам надо к своим программерам обратиться, потому как у вас статические страницы не поддерживаются (ИМХО)

трясите программеров, у вас сайт не выдает ошибку 404, на запрос любой несуществующие страницы выдается код 200 и страница.

Kost, Вообще-то это не я писал, я какраз советовал к программерам обратиться ;)

А разве плохо, что пользователь остается на главной?

404 выдается, если ввести например www.texmash.ru/catalog/12.html

Вообще-то плохо. И для поисковиков и для пользователя. Запутаться можно, вроде кликнул на ссылку, а никуда не ушел с главной.

Для корректной индексации необходимо, что бы при любом адресе, по которому не существует страницы, отдавался код 404 (File Not Found). Иначе можете засорить индекс дублями, что замедлит индексацию или вообще переклейку морды получить.

А потом думают почему морда вылетела 😂

Снандарт HTTP и коды ошибок придумали не от балды.

Сервер и сайт отдает эти коды либо корректно, либо некорректно.

А если ваш сайт не соблюдает стандарты, не удивляйтесь, что появляются проблемы, и это ваши проблемы.

Я подумала и решила, что для моего сайта роботс не нужен вовсе. Мне ни к чему управлять индексацией ( а "управление" поразумевает закрытие или открытие чего-то для роботов, ИМХО), сайт небольшой. Пусть все индексируется.

Сайт, кстати, индексируется с момента создания нормально, а последняя индексация была 7 часов назад. Так что причин для волнений не вижу.

Тем не менее, спасибо всем ответившим!:)