может и ничего нового не скажу, но в прошлом месяце скармливал гуглу новый роботс и сайтмап через гугл аналитику серчконсоль
так как на сайте изменили наименования путей после прикрутки 1с. пришлось все переделывать
