Vào thế kỷ XVII, ông Cao Hách, quê ở tỉnh Thanh Hóa di cư về làng Cổ Liêm, xã Kim Phú để mở đất, lập làng. Sau này, các con của ông lập gia đình tiếp tục khai khẩn, phát triển thêm nhiều vùng đất mới, trong đó, làng Cổ Liêm và làng Kim Bảng, xã Kim Phú đã trở thành những vùng quê cách mạng tiêu biểu, được sử sách lưu danh.