青马军的起源可以追溯至同治年间的回民起义时期，马步芳先祖马海晏在河湟地区与回民领袖马占鳌共同领导反清起义。起义后，马占鳌投靠清廷，其部队成为镇压人民起义的重要武装，马海晏随后在马占鳌之子马安良麾下效力。1900年，马海晏和马安良率军参加抵抗八国联军的北京战役，战后马海晏病逝，其子马麟接替职务，成为旗官并驻扎巴镇。
辛亥革命后，清朝地方官员离职，青海地区权力结构发生变化。1912年，袁世凯任命廉兴为青海办事长官，马麒任西宁镇总兵。马麒逐渐壮大，对廉兴不满，不断排挤他。1915年后，青海办事长官和总兵职位被裁撤，马麒成为蒙番宣慰使和甘边宁海镇守使，组建的军队规模显著扩大，确立了马家军阀在青海长达四十年的统治。
1925年，冯玉祥国民军进入甘肃，马麒被任命为青海护军使，其军队被改编为国民军。1928年，青海正式成立，马步芳等人相继担任省主席。然而，青海虽名义上服从国民政府，但马氏军阀在内部享有高度自主权，实行封建独裁，对青海各族人民实行残酷压迫。
马氏军阀的势力在战争中迅速膨胀，从最初的1300人发展到解放战争时期的15万人，期间增长百倍。他们不仅镇压当地人民，还与红军和共产党作战。1949年青海解放前夕，青马军最终被人民解放军消灭，结束了他们的统治时代。
青马军民国时期活跃在西北政坛上的青海回族军阀部队，因其首领为马步芳俗称青马军。青马军的兵源，以地域来考察，主要分布于河州、化隆、循化、大通、互助五地，而尤以大通、互助两县人数最多。 青马军首领 马步芳