Можно будет сделать запрос на удаление /robots.txt из индэхса. Остальные страницы индексируются так же.
А вот если написать типа Disallow: /sitemap.xml
то в WMT и ЯВМ будет ругань, что-то там про запрет сайтмапа.
Оставлять Disallow: /sitemap.xml не пробовал.
А что такое актуальный индекс?
И покажите его тут... для любого документа.
А из <h4> не полюбили?
Не борется. Это явление зависит от запроса. В Гугле тоже.
Посмотрите, из чего сформирован заголовок сниппета и дочитайте абзац, он появился уже давно.
А кто будет проводить собеседование и принимать решение о приёме на работу? Вы же не специалисты. Может быть и для этого надо обратиться к специалисту?
А подрядчик вас пошлёт далеко (особенно, если кто-то попытается им руководить), и будет прав... договор уже подписан. И вам должны только то, что там написано (но не произвольную расшифровку этого... которая может оказаться в запоздавшем ТЗ).
ТС находится в удобном для ПС/конкурентов тупике, думая при этом, что сможет прилично сэкономить.
Давайте сформулируем проблему честнее:
Как индексировать/продвигать сайты, содержащие списки поисковых запросов? Не один-два-три запроса... а десятки и сотни.
Решать её надо не в рамках документа, а в рамках сайта (и можно именно в рамках сайта, а не группы сайтов — как с субдоменами).
Название форума к вашему видению не имеет отношения.
На apple и microsoft нужно сослаться слишком жирной сцылкой, чтобы появился шанс возникновения дубля. А у нового магазина с контеном ограниченной уникальности, находящегося на грани самой возможности индексации... лучше не добавлять всех тех, лишних для ПС возможностей, которые и создают говняные CMSки.
Это форум о поисковых системах ... для которых страница существует, если сервак отвечает 200.
Зачем же тогда с index.php лечили?
А по поводу всех остальных подобных дыр
http://tixcms.ru/news
http://tixcms.ru//news
http://tixcms.ru/news/
200 OK ... вместо 301 на единственно правильный урл.
давно любопытно, почему начинает отвечать 200 OK на любой регистр только /на/совсем/глубоко/зарЫтом/
http://tixcms.ru/addons/view/tixcms/neWs/
http://tixcms.ru/addons/view/tixcms/NewS/
http://tixcms.ru/addons/view/tixcMs/NewS/
А вот 500 http://tixcms.ru/addons/viEw/tixcms/news/
выводимое при этом сообщение будет полезно тем, кто специализируется на взломе?
А вы активно подразумевайте, что специально для вас проведут исследование ваших клиентов (и это как-то само собой войдёт в оговоренную сумму), и сделают всё идеально, причём идеально-для-вас (это не шутка, вы же написали идиотский заголовок темы, иллюстрирующий, что деловой части вы вообще не понимаете, а если начнёте руководить тем, что не понимаете, то лучше сайтик не станет).
И это самое, активно подразумеваемое мнение об чём-то нереально-идеальном... как наркоз — спасёт вас от лишней суеты (ну и что, что сайтику это не поможет).
А ещё популярно такое мнение
(хорошо там, где нас нет)
Никак не руководить, вы им не начальство, а заказчик.
Значит часть ваших денег типа просто выкинется...
Как заказчику руководить самим собой, чтобы он вовремя говорил исполнителю — как чего? Никак? Тогда отвечайте им: Делайте как хотите, претензий не будет... а вам ответят: Мы делаем не себе, а вам...
