1930年2月6日，习仲勋走出了家门，又忍不住转身回望自家的草屋。他的心里充满了不安和内疚：他没有告诉叔叔自己要走的事。但新的革命任务在等着他，16岁的习仲勋毅然挥泪离别了故乡。
1930年3月，习仲勋被党组织派往杨虎城部警备骑兵第三旅开展兵运工作。他以二团一营特务长的公开身份作掩护，通过《告士兵书》《告全国同胞书》等材料，揭露地主、豪绅、贪官、污吏对农民的剥削，揭露军阀勾结帝国主义对农民的压榨和掠夺，以及长官对士兵的压迫和剥削。经过他和同志们的努力，一营很快发展中共党员30多人。陕西省委同意成立营党委，由习仲勋担任党委书记。
习仲勋等人的活动引起上层军官的注意。军方决定将一营与二营互换防地。营党委会议决定利用换防，发动“两当兵变”。1932年4月2日，兵变， 300多人的起义部队被改编为“中国工农红军陕甘游击队第五支队”，习仲勋出任队委书记。
这次兵变因遭遇土匪部队围攻而失败，但是，带来的巨大影响，鼓舞了斗志，震慑了敌人。特别是深入虎穴开展秘密工作，坚决走武装斗争道路的探索和实践，为革命积累了宝贵的经验。在“两当兵变”之后，习仲勋秘密回到家乡富平。
1932年7月，习仲勋接受组织安排，前往耀县寻找陕甘游击队三支队队长刘志丹，共同探索革命道路。他们一起分析兵变失败的原因，就是军事运动没有同农民运动结合起来，没有建立起革命根据地。在党组织安排下，习仲勋坚持在渭北地区，打土豪，分粮食，发展党员，组织农会，建立根据地，开展游击斗争。
1933年3月起，习仲勋担任陕甘边游击队总指挥部政委、中共陕甘边特委军委书记、陕甘边革命委员会副主席，参与并创建以“照金”为中心的陕甘边革命根据地。
