Né à Romans (Drôme) en 1772, Hippolyte Charles s’engage à 19 ans comme volontaire dans l’armée. Alors que Bonaparte vient de remporter ses premières victoires en Italie, Joséphine fait la connaissance d’un jeune lieutenant de hussard, Hippolyte Charles, adjoint du général Leclerc, beau-frère de Bonaparte. Bien qu’il soit plus jeune qu’elle de 9 années, elle ne peut résister à l’uniforme, mais aussi au personnage. Il va devenir son grand amour. Hippolyte Charles est un méridional de taille un peu au dessous de la moyenne, mais fort beau garçon avec son teint basané, ses longs favoris et sa moustache noire. D’après la duchesse d’Abrantes, « Charles ne s’exprimait qu’en calembours et faisait le polichinelle », mais ajoute-t-elle « il était ce qu’on appelle un drôle de garçon, il faisait rire ; il était impossible de trouver un homme plus comique ».
    Le 24 juin, Joséphine se résout à rejoindre Bonaparte en compagnie de son amant Hippolyte, de son beau-frère Joseph Bonaparte et du colonel Junot. Le 13 juillet, elle retrouve Bonaparte aux portes de Milan. Mais elle continue à faire des infidélités avec Hippolyte sur le chemin de retour à Paris. Non seulement elle roucoule avec son amant mais elle l’implique dans des affaires. Le nouveau capitaine, associé aux bénéfices des affaires douteuses de son amante va pouvoir quitter l’armée. Le 17 mars 1798, les deux amants sont dénoncés à Bonaparte qui entre dans une colère folle. Mais Joséphine va encore faire croire à son mari que toutes les calomnies ne sont pas justifiées. 

     Le 14 novembre 1804, Hippolyte Charles achète le domaine de Cassan à François-Denis Courtiller, l’architecte de Pierre-Jacques Bergeret. Est-ce avec l’argent des affaires douteuses dans lesquelles Joséphine de Beauharnais l’avait impliqué que Charles fait l’acquisition de cette belle propriété de L’Isle-Adam ? Des tableaux du peintre-architecte Jean-Antoine Alavoine, en possession des descendants d’Hippolyte Charles, immortalisent le château et le domaine de Cassan à cette époque.
    Une anecdote amusante de cette époque rapporte que dans les communs du domaine de Cassan (la maison Ollivier), situés à proximité de l'entrée de la Voie-aux-vaches, était enfermé un grand singe baptisé par les habitants de Nogent "Coco de Cassan". Honoré de Balzac raconte cette histoire dans son roman "La physiologie du mariage". Ce singe étant devenu trop dangereux, il est donné au Jardin des Plantes à Paris où il meurt peu après. Empaillé, il sera placé au pied de l'escalier du Muséum d'histoire naturelle où il restera quelques années.

     Ayant perdu ceux qui lui ont apporté gloire et amour, Hippolyte Charles vend le domaine de Cassan en 1828 à Jacques-Honoré Recappé, ancien notaire et conseiller général de la Seine et Oise. Il décide de se retirer dans sa contrée d’origine où il a acheté un château à Génissieux dans la Drôme. Pour assurer le déménagement du mobilier de Cassan, des orangers en bacs ..., il fait venir de Génissieux un convoi de 40 chariots tirés par des bœufs ! 
Hippolyte Charles y décède en 1837.