Карл фон Гревениц родился 12 апреля 1805 г. в семье петербургских немцев, принадлежащей к старинному прусскому дворянскому роду. 3 мая того же года младенец был крещен в Корпусной церкви (с 1834 г. - Св. Михаила). Его родителями были Карл Ильич Гревениц, отставной флотский офицер, и его супруга Анна Катарина (урожденная Шноррен). Первые представители рода Гревениц появились в России в середине 18-го века, и вследствие канцелярской неточности их фамилия приобрела самые разные варианты написания: Гревениц, Гревенс, Гревниц, Гревенцов.
Карл-младший был одним из пяти сыновей в семье, и все они в той или иной мере посвятили себя российскому флоту. В 1817 году Карл поступил в Морской кадетский корпус. В 1826 году ему присвоено первое офицерское звание мичмана. С 1831 г. лейтенант фон Гревениц служит в 15-м флотском экипаже.
Ему не довелось командовать кораблями и участвовать в морских сражениях, однако и на суше Карл сумел принести пользу флоту. С 1837 по 1845 гг. он состоял смотрителем Петербургского морского госпиталя, основанного еще Петром Первым в 1715 г.
Видимо, администраторские способности Карла Карловича были замечены, так как в 1846 г. его переводят в ведение Министерства Внутренних Дел, и он становится чиновником особых поручений. Интересно, что и на этом поприще он по-прежнему связан с медициной. В течение 10 лет (1852-1862) Карл фон Гревениц занимал должность инспектора Аптекарского острова и смотрителя при Инструментальном Заводе (с 1896 г. – Завод военно-врачебных заготовлений), в чьи функции входило снабжение действующей армии медикаментами и инструментарием. Кроме того, все эти годы он заведовал школой для сынов нижних чинов служителей Министерства Внутренних Дел.
В 1862 г. статский советник Карл фон Гревениц уходит в отставку. К этому времени он успел создать семью, женившись в 1833 г. на Евгении Павловне Медер, дочери полковника. В 1842 г. родился его сын Василий, также ставший впоследствии морским офицером.
19 июня 1888 г. в возрасте 84 лет Карл Карлович фон Гревениц завершил свой жизненный путь. Место его погребения пока неизвестно.