渭华起义之后，共产党人意识到，在国民党控制区发动武装暴动已经不符合实际，共产党随即决定转向国民党武装内部进行瓦解，搞兵运。随之，陕北地面上的三教九流各色人等络绎而来，刘志丹的队伍也迅速壮大起来，而这之后，他本人也成为陕甘宁晋大小军阀争取和拉拢的对象，一时之间，哥老会大爷、占山为王的绿林好汉、国民党的高级将领等等等等，都争先恐后地跟他拍肩膀、拜把子，成为了义结金兰的桃园兄弟，然而，酒酣耳熟之际，刘志丹却把他的目光投向了他们身后的部队。

1930年春天，冯玉祥和阎锡山联合国民党内其他地方军阀要在河南等地和蒋介石展开中原大战，此时，刘志丹和谢子长已经打入隶属冯玉祥的苏雨生部，为了保存革命力量，他们决定脱离苏部，投靠甘肃陇东国民司令谭世麟，谭世麟令他们驻扎到三道川一带，而这一举动却引来小军阀张廷芝的注意。

张廷芝是保安县那一带的大财主，他拥有自己的庄园和武装力量，他的武装干什么呢？就是收租子、抓壮丁，引起了群众公愤。所以刘志丹在搞革命以后，首先就想到要打击张廷芝，当然，张廷芝一看到刘志丹组织起来，他首先想到的也是怎样消灭刘志丹的部队。

于是，张廷芝把目标瞄准了刘志丹的部下，一个从土匪武装改编过来的营长周维奇，他的队伍有一百多人。张廷芝就请周维奇吃饭，想拉拢他一起消灭刘志丹，并许诺把他妹子嫁给周维奇，还给他钱，古人云：英雄难过美人关，更何况还是金钱美女，周维奇就叛变了。带着队伍跟着张廷芝就到了三道川。

张廷芝夜袭三道川时，刘志丹刚在庆阳给谭世麟训练完队伍，准备回三道川去，走到半路得知部队已被缴械，才免遭毒手，而谢子长也乘着夜色侥幸逃脱，后被组织派往上海受训。

刘志丹连夜回到了永宁山，张廷芝就派部下蔺士殿带着部队来追捕他。

永宁山的县衙，在一个悬崖上头，还有吊桥，如果要把吊桥一抽，谁也就进不了这个县衙。那时，保安县的县长是刘志丹的中学老师，刘志丹就去找他帮忙拦住蔺士殿。这个县长就叫蔺士殿一个人上去，不许别人上去，这样蔺士殿就一个人到了永宁山县衙。刘志丹这回挺神气的，他拍着桌子把蔺士殿给美美的收拾了一顿。

虽然逃过了一劫，但辛苦搞起来的武装尚未打出红旗就被搞垮。刘志丹意识到，依附在军阀下面不是长久之计，革命必须要有自己的队伍，当务之急，是需要一批武器补给。不久，他了解到驻扎在合水县太白镇的陇东民团军第24营，是一个非常合适的切入口，这也是谭世麟旗下的部队。

因为在谭世麟那里没有暴露身份，刘志丹就将计就计打着自己的“陇东民团军直辖第三团骑兵第六营营长”的旗号，在9月28日下午带领队伍开进了太白镇。太白的这个营长黄毓麟以为是自己的部队来了，就让个地方住下。从九月二十九日的早晨，到三十日晚上，刘的人分别与黄的人进行了官对官，兵对兵的交朋友工作。并虚张声势，扬言后面还有许多部队要来。十月一日早上，刘志丹、老杨便来到王营副住的房子里，借口还有部队要来，要和黄营长商量粮草的事情，王营副便请来了黄毓麟。来之后，王营副端着大烟盘子，让刘志丹和黄营长上炕抽烟，刘志丹再三说不会抽，只有黄营长爬上炕。刘志丹正盘算怎样下手。突然外边叭的响了一枪，紧跟着赵副官慌慌张张跑进来说：“黄营长，你的兵变了!”王营副听说兵变，正要掏手枪，刘志丹抽出枪对准他的脑袋“叭”一下子，结束了他的性命。黄营长正忙着爬起，又被老杨一枪打死了。这里要说一下赵副官，这个人呢其实是刘志丹的人，叫赵连壁，在黄毓麟那里当副官，所谓兵变响的那一枪其实是刘志丹的护兵路四打的。

这时候，给黄营的官兵灌酒的卢连长卢连长听见枪声，把酒壶一丢，用枪口对准敌人大喊一声：“缴枪不杀！把手都举起来！”在此同时，各桌上陪席的人也都变了脸，把枪口对准了一个个呆如木鸡似的敌军们，喊着：缴枪不杀!

太白镇收枪，干得十分干净利落。刘志丹把缴获的粮食、衣物都分给了穷苦百姓。刘志丹太白收枪故事由此在陕甘边区广为流传，老百姓都知道了刘志丹的部队是为百姓做事的，刘志丹就像传说中劫富济贫的大侠，很快，他的队伍就扩大到四百多人。