20世纪60年代以后，很多国家认识到，战斗机不能单纯地追求飞行速度快，还要赋予战斗机良好的机动飞行能力。于是，围绕这个新课题，各国飞机设计部门进行了一系列探索，研制的新型战斗机逐步朝着机体大、设备全、技术复杂的方向发展。而我国采取的却是另外一种做法，即通过缩小机体，减轻起飞重量来有效地提高飞机的机动性能。就我国当时的技术储备情况而言，这是最为现实的一条途径。1968年4月，我国空军提出了研制“小歼”（即后来的歼12）的计划，也就是研制出一种高度机动灵活、短距起落、中低空性能好、维护简单、造价低廉的小型战斗机。

经过反复论证，多方征求意见，1969年7月，国营洪都机械厂（现航空工业洪都）完成了方案初步设计。1970年3月，第三机械工业部正式下达文件，命名该机为“歼击12型飞机”，简称“歼12”，并确定了“轻、灵、短、快”的设计思想。

为了实现这一目标，在研制过程中，歼12大胆突破并采用了一系列新技术、新工艺、新材料。如机身和中翼整体油箱、大面积的双曲面金属蜂窝结构、碳纤维复合材料壁板、钛合金板和铝合金起落架等，此外还首次使用数控绘图机完成了机身、机翼、尾翼的理论模线，这一新技术的运用，改变了国营洪都机械厂几十年来用钢针徒手绘制模线的历史，使画出的几何图形更加精准。工厂专门成立了歼12飞机高低速模型加工小组，仅用两个月的时间就完成了高低速全机测力吹风试验模型的制作任务。与此同时，全机结构打样和系统原理设计也基本完成，成辅件电子设备的选用也基本落实，歼12飞机的研制工作进展顺利。

1970年6月，工厂组织飞机设计、工装设计、工艺技术人员以及干部、工人组成的新机试造单位，集中了各方面的技术力量100多人，主要承担工装设计、工艺规程编制、零组件加工、飞机初装等任务。他们工作在试制现场，哪里出现问题，哪里就聚集着相关人员研究问题，解决问题。

歼12原型机采取了交叉作业的方式，边设计、边试验、边做生产准备、边试制生产零件、边进行组合装配。厂房内悬挂着“备战、备荒、为人民”和“要准备打仗”的大幅标语，参加试制的工作人员，有的忘记了自己在“文化大革命”中遭受冲击、迫害带来的苦恼，昼夜苦干。设计、工艺、生产技术人员和工人紧密结合，共同为试制歼12紧张忙碌。为了抢时间，早出飞机，许多人几天几夜不休息，连续工作，困了就趴在办公桌上打个盹，领导让他们回去休息，可他们出去用冷水冲把脸，就又回到生产岗位。厂领导也亲临一线进行指挥，后勤人员将饭菜直接送到现场。那种劲头和精神，既令人感动，又让人心疼。经过5000多次全机外形、进气道尾喷流颤振等风洞试验，37项静力试验，近50项系统模拟试验，歼12原型机终于研制完成。

1970年12月26日，01架歼12成功进行了首次试飞。空军第14师大队长徐少臣在首飞后表示：“飞机重量轻，起飞加速快，空中稳定性和操纵性良好，转弯半径小，机动灵活。”一席话肯定和证明了歼12飞机的研制是成功的。