Fue la emperatriz Isabel la que inculcó a su hijo el sentido del deber y la profunda religiosidad de la que hizo gala a lo largo de toda su vida. La Emperatriz procuró en todo momento estar junto a sus hijos, pero Carlos V consideraba necesario que el que estaba llamado a ser su sucesor recibiera una cuidada educación
Carlos V mantuvo apasionadas relaciones con una joven, Juana Van der Gheynst, hija de un tapicero de Audenarde, villa en donde Carlos había reunido a la Orden del Toisón de Oro. Fruto de aquella relación fue Margarita de Parma, Gobernadora de los Países Bajos durante el reinado de Felipe II. La niña fue tutelada por Margarita de Saboya y a ese afecto y educación debió su posterior encumbramiento.