Карл Карлович Шварцгоф (Schwarzhoff) родился 22 сентября 1830 г. Его предки были выходцами из Курляндии. В роду Шварцгоф мужчины традиционно служили в банковской сфере или в торговле. Карлу пришлось пройти все ступеньки служебной лестницы и, справедливо будет заметить, «звезд с неба» он на этом пути не хватал, оставаясь скромным служащим банкирского дома Винкен (Wyncken). Жил среди таких же чиновников - на Галерной улице.

Первым браком Карл Шварцгоф был женат на Августе Баум (1832-1868). Он был многодетным отцом. В 1861 г. у него родилась дочь Анна Серафина. В 1864 г. - сын Фридрих Людвиг. В 1868 г. в семье родилась дочь Августа Розалия. В будущем она станет классной дамой в Екатерининском институте.

Жена Августа рано умерла. Их сын Фридрих по окончании гимназии Карла Мая продолжил семейную традицию, связав свою жизнь с денежной сферой. Он служил главным бухгалтером Северного стекольно-промышленного общества. В знак признания заслуг Фридриху Шварцгофу было присвоено звание почетного гражданина.

В 1869 г. Карл Шварцгоф женился на Марии Готлиб Контермович. В 1870-е годы Карл Шварцгоф входил в состав церковного совета. Для общины это был трудный, но вдохновляющий период строительства собственного здания на Среднем проспекте, требующий грамотных людей для ведения счетной документации.

Карл Шварцгоф умер 21 октября 1892 г. в возрасте 62 лет и был похоронен на семейном участке Смоленского лютеранского кладбища.