Čeprav je Charles Spencer, 9. grof Spencer, član ene najslavnejših britanskih aristokratskih družin in mlajši brat pokojne princese Diane, je v javnosti pogosto vzbujal pozornost tudi s številnimi ljubezenskimi zvezami in družinskimi zapleti. Pri 25 letih se je leta 1989 prvič poročil z manekenko Victorio Lockwood. Veljala sta za glamurozen plemiški par devetdesetih let, v zakonu so se jima rodili štirje otroci: Lady Kitty Spencer, danes uspešna manekenka, dvojčici lady Eliza in lady Amelia ter sin Louis Spencer, vikont Althorp, ki bo nekoč nasledil očetov naslov. A njun zakon je bil buren. Victoria se je spopadala z odvisnostjo od alkohola in drog ter z duševnimi stiskami, mediji so njun odnos opisovali kot nesrečen in nestabilen. Ločila sta se leta 1997.
Drugič je prstan leta 2001 podaril producentki Caroline Freud, s katero sta v zakonu dobila sina Edmunda in hčerko lady Laro Spencer. Tudi ta zveza ni bila mirna. Tabloidi so pogosto poročali o aferah in prepirih, po dolgih letih napetosti se je zakon leta 2007 končal. Že pred dokončnim razpadom zakona je Spencer začel razmerje s Kanadčanko Karen Gordon, dobrodelnico in ustanoviteljico več humanitarnih organizacij. Poročila sta se leta 2011 in postala oče in mama lady Charlotte Diane Spencer. Karen je veljala za umirjeno in stabilno partnerico, a tudi ta zakon ni obstal. Leta 2024 sta oznanila razhod.
Kmalu za tem je javnost izvedela za njegovo zvezo z osemnajst let mlajšo norveško arheologinjo in pisateljico Cat Jarman, ki jo je spoznal pri zgodovinskih projektih in snemanju podkastov. Hitro ju je povezala skupna ljubezen do zgodovine, ta mesec sta se na intimni poroki v Arizoni poročila. Zanj je to četrti, zanjo drugi zakon, mladoporočenca sta ob srečnem dogodku v skupni izjavi povedala: »Oba sva presrečna, da je sodelovanje preraslo v prijateljstvo, nato v globoko ljubezen in povezanost. Vsako obdobje najine zveze je bilo prežeto s smehom, druži naju tudi strast do življenja.«

Zdelo se je, da je s Karen naposled našel miren pristan.

Cat Jarman ima iz prvega zakona s Tomom Jarmanom dva sinova.

Njegovo življenje je preplet aristokratskega blišča, družinskih tragedij in ljubezenskih škandalov.