生活的艰辛和人间的种种不平，使马少林开始思索，为什么穷人处处受到欺压？1943年，彰恩流传着孙殿才在三边红区当部长，共产党为穷人闹翻身的消息，使马少林产生了到三边地区投奔革命的热望。同年，马少林以跑生意为名到定边，在“广发西”通过老乡杨学智见到孙殿才，并向其倾诉了自己的痛苦遭遇。孙殿才给他讲了许多革命道理，通过多次交谈，马少林逐渐提高了阶级觉悟，表示要跟共产党走，参加革命。1944年，经孙殿才介绍马少林加入了中国共产党。
入党后，马少林在三边地委统战部做联络工作，经常往返于定边、吴忠、灵武、中宁等地，传送、搜集情报。他曾先后几次到国民党八十一军驻地中宁南营房等处，同孙殿才的亲属、时任八十一军特务营司书的孙克仁和一零三团少尉军需张凤元进行秘密联络。孙克仁利用常被抽到军部缮写文件的机会，掌握了八十一军的不少情报；张凤元也利用和马鸿宾六子、时任一零三团少校副团长马敦廉接触的机会搜集情报。马少林还教育、引导孙克仁、张凤元、张俊、柳洪隆四人，弃暗投明，于1945年8月到定边参加了革命。
1947年3月，国民党军队向我陕北革命根据地发起重点进攻。我军撤离定边后，敌特机关大肆搜捕。马少林在定边陈家大墩遭敌暂九师便衣特务逮捕，随即被押往吴忠警察局监狱。敌人多次拷打审问，马少林坚强不屈，没有暴露党的机密。7月，敌人把马少林押送到宁夏军法处，进一步施以酷刑，但仍一无所获。连敌监狱长也说，马少林是个硬骨头。特务何兆林、何永德、何洪寿为邀功请赏，联名给马鸿逵上书，证明马少林是共产党地下工作人员，为孙殿才工作，要求枪杀马少林。1947年10月16日，马少林在吴忠秦桥英勇就义，临刑前他高呼革命口号，大义凛然。时年42岁。