下辖：第1师，唐式遵任副师长；第2师，李雅任副师长；第3师，王陵任副师长师长；第4师，任副师长任副师长；第5任副师长成任副师长长；第6师，潘文华任师长，第7师，师长不详；第6师，潘文华任师长，8个师；另外，军直属1个旅和两个游击司令部。
1928年8月，根据国民政府编遣会议的要求，该军原有8个师、1个旅、两个游击司令部缩编为第1、第2、第3师。其中：第1师，唐式遵任师长，蓝文彬任副师长；第2师，王瓒绪任师长，潘文华任副师长；第3师，刘湘兼任师长，王陵基任副师长。不久，刘湘免兼第3师师长，王陵基继任第3师师长。
十年内战时期1929年3月，蒋桂战争爆发后，该军被编入第7路军，刘湘任总指挥，参加讨伐武汉桂系军队的作战。
1930年2月，刘湘被南京政府任命为四川善后督办，奉令对四川各军全权编谴。同年10月，刘湘、刘文辉争夺对四川的统治的混战全面展开，经过两个多月的混战，刘湘打败刘文辉，夺得川北、上川东、下川南等地区的30多个县，该军先后收编刘文辉部第24军的3个旅和第20军的陈兰亭、廖泽两个师。
1931年初，该军以支援第20军为名，进占了广安、渠县。3月，该军第3师进占合川，驱走了第28军邓锡侯部的陈书农师。此时，该军实力进一步扩大，下辖6个师和川东3个边防路军。其中：第1师，唐式遵任师长；第2师，王瓒绪任师长；第3师，王陵基任师长；第4师，范绍曾任师长；教导师，潘文华任师长；模范师，刘湘兼任师长；川东边防第1路，陈兰亭任司令；川东边防第2路，穆瀛洲任司令；川东边防第3路，魏楷任司令。此后，该军又参加了与刘文辉、田颂尧等军阀在四川的混战。在上述这些军阀混战中，该军实力最强时，所属部队发展到9个师，5个独立旅、4路边防司令部、3路警备司令部、1个城防警备司令部、1个独立支队。
1933年10月至1935年4月，该军先后参加了对红四方面军“6路围剿”和对中央红军长征的围追堵截作战。
1935年5月，国民政府对川军进行整编时，由于该军兵力过多和编制过大，所属部队被统一分编为第21、第23、第44军3个军。同年10月，刘湘升任川康绥靖主任兼四川省政府主席后，唐式遵任第21军军长，范绍曾任副军长，刘熙鉴为参谋长。此时，该军下辖：第1师，饶国华任师长；暂编第2师，师长彭诚孚；第4师，师长范绍曾（兼）。
1936年2月25日至27日，国民政府为使川军“中央化”、“国家化”，以授军衔的方式，将川军将领纳入全国陆军系统。其中第21军军长唐式遵、副军长范绍曾被授予陆军中将军衔；所属各师、旅长饶国华、彭诚孚、刘兆藜、周绍轩、孟浩然等被授予陆军少将军衔。
抗日战争时期1937年7月，抗日战争全面爆发后，国民革命军进行整编时，该军隶属第21集团军指挥，原所属部队统一整编为：第145师，师长饶国华，参谋长曾南飞；第146师，师长范绍曾兼任（后刘兆藜），参谋长张六师；独立第13旅，田冠五任旅长；独立第14旅，周绍轩任旅长。另将原刘湘集团所属第1、第4师和暂编第2师各一部合编成为第162师（彭诚孚任师长）改隶该军。
同年9月，该军整编完毕后，军长唐式遵奉命率第145师、第146师和独立第13旅、独立第14旅出川抗战，第162师留驻守成都。10月，该军进至上海参加了淞沪会战。11月中下旬，该军在皖南广德、泗安一带，保卫首都外围，掩护国民政府撤离南京的作战中，第145师师长饶国华在广德失守后，自戕殉国。
1938年6月，该军在参加武汉会战中，担负固守长江南岸，阻断日军长江航运，策应保卫大武汉的作战任务。
1939年初，国民革命军进行局部编制调整时，该军隶属于第23集团军，军长唐式遵升任第3战区副司令长官兼第23集团军总司令，陈万仞继任该军军长，刘熙鉴任副军长。同时，将原第23军编入该军。该军原辖第145师该隶第50军；第23军原辖第147师，第148师该隶该军。此次整编后，该军先后参加了当年的冬季攻势作战和第2次长沙会战。
1942年1月，陈万仞升任第23集团军副司令后，该集团军副司令刘雨卿兼任军长，周绍轩任副军长。下辖部队编制调整为第145师、第146师、第147师。同年5月，该军参加了浙赣会战后驻守江西贵溪整训。
1945年，该军奉命进行整编时，第147师被裁减，另将第50军新编第7师拨归第21军建制。此时，该军下辖：第145师，师长凌谏衔；第146师，师长戴传薪；新编第7师，师长黄伯光。
解放战争时期1946年5月，国民革命军进行整编时，该军改编为整编第21师，原军长刘雨卿改任师长。原第145师改编为整编第145旅，旅长凌谏衔，参谋长林雪谷；原新编第7师改编为新编第7旅，旅长黄伯光，副旅长田从云、黄恒仁，参谋长戴杰夫。同年7月，该整编师新编第7旅在参加苏中作战中，旅部及所辖两个团被人民解放军歼灭，该旅番号被取消，残部编入他部。
1947年3月，台湾民众举行“二二八”起义后，该整编师由江苏南通紧急调往台湾，改隶台湾警备总司令部，参加了镇压台湾人民起义的军事行动。同年秋，该整编师又奉命返回华东战场。
1948年初，师长刘雨卿调任重庆警备司令部司令，王克俊从沈阳警备司令部副司令职调任师长。同年9月，该整编师恢复第21军番号，该军隶属第1绥靖区。王克俊任军长。原辖整编第145、整编第146旅，依次恢复为第145、第146师番号。同时，将新组建第230师（师长骆周能）拨归该军建制。此次整编后，该军调至长江沿岸担任江江防任务。
1949年4月下旬，人民解放军发起渡江战役后，该军在阻击人民解放军的渡江作战中被歼灭一部后逃至上海，在淞沪警备区的编成内，参加了上海郊区的防御作战。同年5月27日，该军一部在淞沪警备区副司令官刘昌义率领下向人民解放军缴械投诚。
1949年10月1日，国民政府为加强西南地区的军事力量，以由华东撤退到四川的该军残部为基础重新编成第21军，隶属于西南军政长官公署。王克俊任军长，下辖第145师、第146师，担任宜宾、成都地区的守备任务。11月5日，西南军政长官公署将第235师拨属该军。12月下旬，该军在宜宾、成都地区被人民解放军歼灭。
