Главное - не что носить, а как это носить.
С другой стороны, если вы халат не снимаете никогда и всю неделю исключительно в нём пребываете, то это совсем не гут.
Ну и сам по себе халат должен как минимум не вызывать негативных эмоций (чистый).

Но самое главное - чтобы к вам муж испытывал позитивные эмоции. Иначе чтобы вы не надели, малейший изъян (даже надуманный) может всё испоганить. Да и не будет это уже тогда иметь ни малейшего значения...