哈尔滨工程大学的前身是1953年创建的中国人民解放军军事工程学院。陈赓大将任军事工程学院首任政委兼院长。毛泽东主席为学院的成立颁发了训词。学院按军兵种设立空军工程系、炮兵工程系、海军工程系、装甲兵工程系、工程兵工程系五个系。1961年学院被确定为全国重点大学。学院的发展和建设始终得到中共中央、政务院、中央军委的关怀和重视。党、国家、军队领导人周恩来、朱德、邓小平、董必武、彭德怀、刘伯承、贺龙、陈毅、叶剑英、彭真、谭震林、薄一波及各总部、军兵种等50多位领导同志先后到学院视察和指导工作。1960年到1962年，学院进行了分建和改建。学院炮兵工程系迁往武昌，与武昌高级军械技术学校合并，成立炮兵工程学院，不久又迁往南京(现为南京理工大学)；装甲兵工程系迁往西安，成立装甲兵工程学院。工程兵工程系迁往西安，后又迁往南京，现为解放军理工大学工程兵工程系；原子化学防护系迁往长春，成立防化学兵工程学院(现为防化指挥工程学院)；空军工程系的机场建筑和气象两个专业移交给空军气象学校；学校又陆续成立原子工程系、导弹工程系、电子工程系、计算机工程系。1966年4月，根据中央军委决定，“中国人民解放军军事工程学院”改名为“哈尔滨工程学院”，退出部队序列。