首先自晚清开始，官府和外国军队、农民军、革命党、会党之间冲突不断，每一次冲突或战事后，都会产生大量溃兵，他们中很多人走投无路，就会带着武器投身匪帮；其次，有官员、士兵直接向土匪售卖武器，如
武昌起义后，南下镇压革命的北洋军中即有人把缴获的枪支卖给河北土匪，一支汉阳兵工厂的快枪加200发子弹，能卖60到70银元。还有土匪会和官军商量好，先将财物埋在某个地方，官军来剿匪时在这里对天放一阵空枪，把财物挖走，再埋上枪支、弹药，最后汇报武器“在战斗中丢失”。很多时候，官军从土匪那里缴获的枪支，其实都出自他们自己。
另外，有外国人直接向土匪出售武器，如控制青岛海关的日本即向山东各地走私枪支。1918年，有
北洋政府警察假扮买枪者，获得日本人私卖枪支的证据，发现当时一支十响毛瑟手枪配200发子弹，开价是400元。统计显示，仅1924至1925年一年间，日本从青岛向山东各地走私的枪支，即被查获了616支、子弹32338发。
当时政府又无力剿灭土匪，民众只有自己出钱、出力，组织民团，武装起来对抗土匪。所谓“民团”，又称“团练”，和
《水浒传》中的祝家庄、曾头市是一脉相承的，都是由地方乡绅、地主组织起来，保障一方安宁。只不过梁山好汉们用刀枪剑戟，近代土匪换上了枪支火炮。
最初，
清廷为剿灭
太平天国，即鼓励各地发展原有民间自卫团体，并允许他们采购一些旧式洋枪，如单响毛瑟枪、前膛枪等。进入民国以后，中央政府控制力进一步减弱，无力约束地方，民团开始购置最先进的武器。在民团力量最大的广东和
东北地区，民团常请政府一次代购枪械万支以上（需要烙印、编号，由当地官员定期查验）。广东宝安一县六区，即有团军3000人，人数最多的第二区有驳壳枪、五响步枪等1000支，还有机枪数挺。香港
《华字日报》推测，1924年前后，“中国枪械以广东为最多，合商团、乡团各种自卫枪械与现役军队并土匪等军，共有四百万（支）”。从比例来看，其中为军警所有的枪支只占少数。
曾任台军参谋总长的黎玉玺回首往事，家乡四川的民团“每个月有一次‘点团’，各家壮丁携带刀枪矛械集合，按照名册点名之后再缴一点钱才解散，表示每家都出人出钱来维持地方安宁”。黎玉玺从小就学会制造火药、生产土炮，给民团用于“设卡守卫”。
近代史学者郭廷以回忆幼时的河南老家，为了对付土匪，几乎家家都有枪。这些枪主要有4种，以日本制造为主，“一种是
日俄战争时日军所使用的“九响枪”，弹头为铜造的；另一种是笨重的“十响枪”，弹头为铝制；再差一档的是一响的德国旧毛瑟枪；最好的是德国五响钢枪。”郭廷以估计：“至北伐那年，我们镇上的百户人家约有枪二百余支，单我家即有三十几支。舞阳一县共有四千多支枪，以全省一百县估计，应有三四十余万，可见民枪之多。”