第二次组建是在1930年4月，中国工农红军第十一军第三十四师在岳西县衙前（现名天堂镇）成立。

1930年3月18日 中共中央指示将工农红军第三十一、第三十二、第三十三师改编为中国工农红军第一军，许继慎为军长，徐向前为副军长，曹大骏为政委，熊受暄为政治部主任。

当红一军整编的时候，潜山工农革命军正活动于六霍苏区。1930年4月15日，军长许继慎、政委曹大骏在六霍边区视察时召开军部会议，为了统一红一军建制，加强对皖西红军的统一领导，决定将活动于六霍苏区的潜山工农革命军改编为“中国工农红军第三十四师”，取消“潜山工农革命军”的番号。至此，鄂豫皖边区红一军的改编工作完成。红军第三十四师隶属红一军，王效亭任师长，陈履谦任师政委，凌霄任副师长兼参谋长。

1930年4月25日，中国工农红军第三十四师从霍山回师天堂后，发展到1000余人，有长枪90余支，短枪数十支，土枪500余条。将士们身穿一色灰军装，手臂佩戴红袖章，袖章上印有金黄色的“红军”字样，脚穿红耳草鞋，腿上缠着绑腿，身背拴着红布的大刀，挎着枪支，成为一支威武雄壮的红军部队。1930年4月29日，中共潜山中心县委在衙前崇新小学召开党政军联席会议，决定设立师司令部、师政治部，并进行了组织机构调整，任命王效亭（化名洪朗光）为师长，凌霄（化名严宽）为副师长，师政委改为储余。师司令部设在衙前东山汪氏宗祠，内设参谋处、秘书处、组织部、宣传部、军需处、军医处、稽查处。由凌霄兼任参谋长，储洪嘉为副参谋长，参谋储文朗；秘书长余良鳌，秘书储国成、陈立德、储载万、汪千顷、汪正南、刘际时；王俊担任组织部长兼士兵委员会主任；刘汉章担任宣传部长；军需处处长方泽润，副处长李则中；军医处处长王德耀；稽查处长王子成，副处长熊可楼；师部机要室主任汪述先；警卫队长李亚（6月整编时改任副团长）。司令部建立了教导大队、特务大队，大队长分别是刘智、刘芳培；刘枝凡担任师长警卫员。师政治部设于衙前崇新小学，由王俊、陈履谦、刘中一、储余、储宪章5人组成。安庆中心县委调派苏明（高翔）为政治部主任。

师司令部下辖第一、第二团、第三团和第四团，各团负责人是：第一团团长凌霄（兼），副团长王焰青，政委汪旭升、刘国鼎。第二团团长金赤，操球、柳志杰，副团长方乔南、储彼交（储德明），政委储文朗、陈斯举、程鹏（第二次退至霍山时团政委储宪章），副政委储蓄谋。第三团团长操球（由第二团团长调任）、汪樾，副团长李亚、陈象坤、胡向明，政委刘汉鼎。第四团是补充团，由沙村、撞钟游击队改编，团长李文夏（又名李文健）。

        第三次组建是在1930年6月，中国红军中央独立第二师在岳西县衙前成立。1930年6月上旬，中共中央派军事特派员朱瑞来到天堂苏区视察，在衙前召开潜山中心县委、潜山县革命委员会、红军三十四师领导人联席会议，宣布将红三十四师改编为中国红军中央独立第二师，改由中央直接指挥。决定王效亭师长兼政委，严宽（凌霄）任副师长、储余任师委书记，苏民任政治部主任（同年6月改由陈履谦担任），徐勋（舒赤民）任政治部副主任。全师辖4个团和1个教导大队，兵力约700人，其中共产党员500余人，有长枪90余支，手枪数十支，盒子枪5支，手提机枪1挺，土枪500余支。红军领导下的游击队、赤卫队约2000人。

       第四次组建是在1935年2月，中国工农红军第二十八军在岳西县凉亭坳重建。1935年2月3日，中共鄂豫皖省委省委常委、皖西北道委书记高敬亭率红二一八团和鄂东北独立团，到达岳西县河图镇凉亭坳。根据中共鄂豫皖省委给他的指示信，当晚，在汪胡氏宗祠主持召开干部会议，决定将红二一八团与鄂东北独立团合编，重新组建红二十八军，高敬亭任军政委，下辖八十二师和手枪团。八十二师师长罗成云、师政委方永乐、师政治部主任熊大海（后石裕田），下辖二四四团和特务营，二四四团团长徐贤才，政委徐成基，下辖3个战斗营；特务营营长陈守信，营政委梁从学；军直手枪团团长余雄（后詹化雨），团政委刘远臣,下辖3个分队，全军一千余人。2月4日，高敬亭在凉亭坳召开军人大会，宣布了凉亭坳会议重建红二十八军的决定。在鄂豫皖根据地史上，这是第三次组建红二十八军。从此在红二十五军长征后，鄂豫皖边区又有了一支主力红军。

抗日战争时期，红二十八军受命先后改编为新四军第四支队、新四军二师四旅；解放战争时期，先后改编为山东野战军二纵四旅、华东野战军二纵四师；淮海战役后，改编为中国人民解放军第二十一军六十一师（被誉为“钢铁红军师”）。

红二十八军官兵列队会操