La famille Joly est originaire de Suisse, alors que les Chartier de Lotbinière sont issus d'une lignée dont la noblesse remonte au XVe siècle. Associés à quelques-unes des «bonnes familles de France», dont les Lauzon, les Chartier arrivent au Canada au milieu du XVIIe siècle en la personne de Louis-Théandre. L'alliance des Joly et des Chartier s'effectue en 1828 par le mariage de Pierre-Gustave-Gaspard Joly avec Julie-Christine Chartier de Lotbinière. Cinq membres de la famille Joly contribuent à la création du fonds. Le premier est Pierre-Gustave-Gaspard (1798-1865), père de Henri-Gustave (1829-1906) et d'Edmond (1832-1857). Le quatrième est le fils d'Henri-Gustave dont le prénom est celui de son oncle Edmond. S'ajoutent les papiers du lieutenant-colonel Fehr de Brunner, oncle maternel de Pierre-Gustave-Gaspard Joly. Grand voyageur devant l'Éternel, ce dernier reçoit en héritage de son épouse la seigneurie de Lotbinière, mais à la fin de sa vie, il retourne en France et y meurt en 1865. La seigneurie revient à son fils aîné Henri-Gustave, né en France en 1829 et arrivé au Canada après ses études au début des années 1850. Admis au Barreau en 1855, il entre en politique en 1861 comme député de Lotbinière. Chef du Parti libéral, il devient premier ministre du Québec après le renvoi du cabinet de Boucherville par Letellier de Saint-Just, lieutenant-gouverneur, et les élections générales décrétées la même année, soit en 1878. Sa position est néanmoins inconfortable, puisque Joly se tient au pouvoir quelque dix-huit mois, grâce à la seule voix prépondérante de l'orateur, Arthur Turcotte. De 1879 à 1883, il exerce la fonction de chef de l'Opposition. Après un intermède de quelques années (1885 à 1896), Joly renoue avec la politique, fédérale cette fois, comme député de Portneuf. Il entre dans le cabinet Laurier à titre de ministre du Revenu de l'Intérieur. Nommé lieutenant-gouverneur de la Colombie-Britannique en 1900, il revient à Québec en 1906 et y meurt en 1908. Nous savons peu de choses de son frère Edmond, né à Lotbinière en 1832 et décédé en Inde en 1857. Il entreprend à sa sortie du Séminaire de Québec une carrière militaire qui l'amène en Inde, puis en Crimée et à nouveau en Inde. Le fils d'Henri-Gustave, Edmond, est né à Québec, y fait ses études et y pratique le droit. Enfin, des documents concernent le lieutenant-colonel Fehr de Brunner, oncle maternel de Pierre-Gustave-Gaspard, venu au Canada sur l'invitation de son neveu afin d'administrer la seigneurie de Lotbinière à la place du notaire Ambroise Chavigny de la Chevrotière

Frère d'Henri-Gustave, Edmond Joly de Lotbinière, devient officier après des études au Séminaire de Québec. En 1850, il part pour les Indes où il sert 5 ans. N'ayant pas de moyens de se distinguer, il se fait muter en Crimée. Dégoûté par le sacrifice inutile de vies humaines lors de cette guerre, il rentre au Canada. De retour en Inde en 1857, il y meurt devant Lucknow le 25 septembre

Natif de Suisse en 1798, Pierre-Gustave Joly épousa en 1828, Julie Christine de Lotbinière. Entre divers voyages en Europe et en Orient, Pierre-Gustave Joly administra la seigneurie de Lotbinière, héritage de son épouse. Il meurt en France en 1865, sa femme lui survivant jusqu'en 1887. De leur union, naquit quatre enfants : Henri-Gustave, futur premier ministre de la province; Amélie, Edmond et une fille morte au berceau. Investissant dans le domaine du bois, il est particulièrement actif en Guyane Française. Présent à Paris lors de la sortie des premiers daguerréotypes, il acquiert un appareil directement de Daguerre