1912年（民国元年），荣臻入保定陆军军官学校第1期炮兵科。1914年（民国3年）11月毕业后，他加入奉系李景林部。1926年（民国15年），他升任东北陆军第1师第43旅旅长，成为张学良的手下。翌年，他升任第4方面军第17军军长，获将军府授“仁威将军”。1928年（民国17年），他任东北边防军司令部军事厅厅长。

东北易帜后的1929年（民国18年）3月，他任国军编遣委员会第5编遣区办事处副主任委员。1931年（民国20年），他任东北边防军司令长官公署参谋长，曾辅佐张学良应对九一八事变。翌年8月，他任国民政府军事委员会北平分会常务委员。1935年（民国24年），他获授陆军中将。

1943年（民国32年）6月，他出任汪精卫政权的军事委员会委员，并兼任华北政务委员会华北剿***委员会事务主任。同年秋，他升任华北剿***委员会委员长。同年11月，蒋介石的重庆国民政府剥夺了其陆军中将之位。翌年6月，他被任命为华北政务委员会特别法庭华北分庭庭长。1945年（民国34年）2月，他任河北省省长。4月，他兼任华北政务委员会保定绥靖主任。