1953年6月16日，蒋介石在台湾高雄凤山陆军军官学校主持第24期毕业典礼
蒋介石靠黄埔军校起家，对于给他带来巨大荣耀的黄埔军校，他自然是不能忘怀。退守台湾后，回忆起黄埔，他充满自豪地说：“我们凭五百个黄埔学生所代表的革命武力，就扫荡了绝对优势的北洋军阀。”他还说：“我最喜欢的事儿，就是办教育。”1949年后，在蒋的提议下，国民党开始在台着手恢复黄埔军校的工作。最终选定1947年成立的“陆军军官学校台湾训练班”所在地高雄的凤山为黄埔军校校址。
“重振黄埔光复大陆”
1950年10月，蒋介石任命黄埔校友罗友伦为台湾陆军军官学校，即黄埔军校校长，接续大陆黄埔军校的期数，开始招收第24期学生。开学那天，蒋介石训话说：“当年我们以一个黄埔军校打败了军阀，又几乎打败了共党，还打败了日本。今天我们同样要以一个黄埔军校来光复大陆。只要黄埔军校办好了，国家就有希望。”
1954年，台湾，国民党将领何应钦将军（中）在陆军军官学校（即原黄埔军校）30周年庆上与当年的学生周至柔（左）、黄杰（右）举杯交谈
1952年10月10日，中国国民党在台北举行“第七次全国代表大会”，在这次会议上，蒋介石检讨了大陆失败的原因，其中一条就是“教育的失败”，其实早在1951年9月3日，他在阳明山庄就说过：“我觉得我们在反攻大陆时期，最重要而又最值得研究的是教育问题。大家只要回想一下，我们这次大陆失败何以会悲惨至此呢？我们失败的主因，究竟是在什么地方？我在这两年来失败之后，检讨所得的结果，认为我们最大的失败，就是在教育和文化。”为此，他提出了三个具体的教育宗旨：一要恢复民族精神；二要重视劳动生产；三要实现文武合一。
“实现文武合一”就是指学生必须参加完规定的军训才能拿到毕业文凭，否则就没有学历。1952年，“教育部”会同“国防部”商定办法：专科以上学校采取集训制，于学校修业期满后，受预备军官教育一年，才发给毕业证书。
进入军校成为穷孩子的选择
难现当年光辉
可惜，蒋虽然重视教育，但黄埔在台湾非但未能重现当年黄埔的辉煌，反而呈每况愈下之势。
1954年10月，军校招训第27期学生。从这一期开始，军校改行新式教育，课程以美国西点军校为蓝本，分军事教育与学年教育，军事教育又称夏季训练，即于每年夏季实施10周的军事训练；学年教育，与普通大学教育相同，尤以理工学科为重，并授之政治思想教育等。毕业后，除颁发军校毕业证书外，还授予理工学士学位。这一时期，军校虽仍然标榜传承“黄埔革命精神”，但不论是声誉、教学，还是生源等都已远不能与大陆时期相提并论。
蒋纬国曾感叹道：“由于美军顾问团来后，才取消原制而重新接受美制。现在我可以说，打从接受美制之后，我们的建军就一落千丈，这是令我痛心万分的事。”
1974年之前，军校坚持“军事训练第一”，希望把军校培养成“以枪杆子为主体”的革命学府。1975年蒋介石去世后，军校教育开始强调军民合一，军事教育内容大为弱化、减少，加强了民用、通用知识和技术的学习。1994年，军校在台湾开始招收第1期女生。
蒋介石去世时台湾场景
近年来，军校的硬件设施虽得到提高，但其发展却不容乐观。台湾各个军校在招生上甚至都出现了困难，因为军校在学期间费用由“国防部”承担，进入军校往往成为穷孩子的选择。1997年起，台湾仿效美国“预备军官团”(ReserveOfficers'TrainingCorps，简称ROTC)制度，开始实施“大学储备军官训练团”，而在开始的两届，黄埔军校在台湾的招训竟出现报名不足的现象。在1994年台湾大学新闻系的一次调查问卷中反映，台湾高中生中愿意就读军校的只有11%。不愿报考军校的原因除了认为军校训练刻苦、难耐约束外，还认为军人职业已经时过境迁。另外，台湾军人的形象不佳，军队腐化、弊案连连也是原因之一。
蒋介石一生头衔无数，但他最喜欢的称呼还是黄埔军校毕业生尊称他为“校长”，黄埔军校在大陆的25年时间里，蒋介石任校长长达23年。但是在台湾时期，黄埔军校的校长却像走马灯似的轮换，这些校长也有一个共同之处，就是均毕业于黄埔。