Le 23 septembre 1818, Jouffroy d'Abbans avait constitué à Châlon-sur-Saône une société au capital de 24.000 Francs divisé en 24 actions. Le brevet d'invention et de perfectionnement délivré par le Roi comptait pour moitié ; les 12 autres actions se répartissaient entre les trois fils de l'inventeur Ferdinand, Charles et Hippolyte et Messieurs Ramus, Ch. Cornu, et J.-B. Dupont de Châlon. Moins d'un an après, les frais d'organisation, de propagande, la construction de nouveaux bateaux avait absorbé tous les fonds. Il est difficile de décrire la détresse du marquis de Jouffroy, lorsqu'en juillet 1819, il se voit contraint, faute d'argent, de fermer ses chantiers. Le 4 août 1819, il écrit à sa femme une lettre, une lettre désespérée : non seulement les ouvriers ne sont pas payés, mais lui-même n'a plus de quoi vivre. Ses deux fils, Hippolyte et Charles, le gardien du bateau laissé inachevé sur le chantier, et le chauffeur sont restés deux jours sans nourriture. Il compte beaucoup sur une souscription qu'il a ouverte afin de porter le capital à 200.000 Francs. Mais la confiance est morte, les actionnaires eux-mêmes semblent vouloir la fin de l'entreprise ; peut-être espèrent-ils être indemnisés par la compagnie rivale, la très puissante Compagnie Générale des Transports. C'est la ruine des Jouffroy ; les frères Niepce se félicitent certainement de leur prudence qui les a tenus à l'écart de cet écroulement.
Après l'effondrement de la société, le marquis de Jouffroy revient à Paris où son fils le comte Achille de Jouffroy possédait un atelier de constructions mécaniques. Ce fut pour lui le salut : au milieu des tours et des machines, il oublia les traquenards des affaires financières et il se remit à battre le fer comme un simple ouvrier. Il secondait aussi son fils très accaparé par le journalisme dans la direction de l'atelier.
Dans cette famille, on acceptait avec une belle sérénité les coups du sort, c'est qu'il existait une entente affectueuse entretenue par la mère, personne douce et enjouée, et d'une énergie peu commune. Quand la gêne s'installait au foyer elle exécutait des travaux d'art à l'aiguille, pour se procurer quelques ressources. Mais la joie régnait encore dans cette maison de Port-Marly, la musique égayait les soirées : le marquis accompagnait avec son violon ses belles-filles qui chantaient agréablement.