Карл Вильгельм Циммерман (Zimmermann) родился 1 марта 1785 г. в немецком городе Айзенах (Тюрингия) в семье обер-штейер-комиссара Иоганна Христиана Готлиба Циммермана. В Петербурге юноша был принят в только что открывшееся в 1806 г. Училище Правоведения, где он прошел трехлетний курс обучения и был в числе первых выпускников 1809 г. По окончании училища Карл был зачислен в Комиссию Составления Законов.

Карл Циммерман участвовал в составлении законоположений, касавшихся Финляндии, за что был награжден орденом Св. Владимира 4-й степени и назначен редактором Комиссии. Десять лет спустя он был определен старшим чиновником Второго отделения Собственной Его Величества Канцелярии. В 1827 г. его перевели юрисконсультом в Государственный Коммерческий банк. С 1831 г. Карл Циммерман уже являлся вице-президентом Юстиц-коллегии Лифляндских и Эстляндских дел, а позже – чиновником особых поручений при Министерстве финансов. В 1839 г. он примет участие в составлении проекта нового Уголовного уложения.

7 сентября 1826 г. Карл Циммерман обвенчался с Доротеей Элизабет Фребелиус, уроженкой Либавы. В этом браке родились два сына - Федор и Бернгард, а также дочь Аделаида, ставшая женой Юлиуса фон Штубендорфа - крупного государственного чиновника, врача и президента церковного совета кирхи Св. Михаила. Бернгард Циммерман после окончания юридического факультета Дерптского университета служил канцеляристом в Евангелическо-Лютеранской консистории, затем – в Публичной библиотеке и Сенате.

Тайный советник Карл Иванович Циммерман скончался 17 мая 1860 г. в возрасте 75 лет и был похоронен на Волковском лютеранском кладбище рядом с женой и дочерью.