阿来婆邀请大西军到云南去，在广东东莞，张家玉也收到了道滘抗清首领叶如日的邀请，请他担任主帅，带领乡兵反抗清朝的统治。
张家玉接到陈邦彦和陈子壮相约抗清的书信之后，一直在联络义勇，积极准备起事，接到叶如日的邀请，不禁大喜，立即欣然前往，题授叶如日为守备，精选骁勇乡兵五千余人，于三月十四日攻入东莞县城，杀了典史赵玄胤、巡检赵知端，活捉知县郑鋈，一时声威大震，临近的惠州、南海（今属佛山）、顺德、增城、龙门、新安（今属深圳）等地纷纷响应，抗清武装简直成了遍地开花之势。
形势一片大好，义军个个欢欣鼓舞，纷纷要求一鼓作气，乘胜拿下广州，张家玉自知乡兵攻坚能力不足，没敢贸然行动，而是先以原来的明朝儒学训导张珆为东莞知县，驻守县城，然后还师道滘，开始打造攻城器具，联络各地义军，打算做好准备之后再行攻取广州。
可是计划不如变化快，李成栋这个时候已经回到了广州，还没等张家玉做好准备，清军却先来了。
这还有什么可说的？那就打吧！
三月十七日，张家玉率部与清军大战于万江，阵斩原属福建郑家军的清军副将成升，一时倒也未落下风，但是义军毕竟只是乡兵，缺乏训练，不识战阵，靠着一时血勇顶了一阵子，却到底难以持久，最终还是败了下来。
这一败，义军士气大堕，原来乘胜攻取广州的乐观情绪全都不见了，取而代之的是灰心丧气，到处都蔓延着失败情绪，张家玉和叶如日虽然拼命鼓劲，效果却不尽理想，结果次日清军进攻道滘时，丧失了斗志的义军再次战败，张家玉只得与叶如日收拾残部退走新安，清军则开始清乡，到处搜捕义军家属，大肆屠杀，张家玉的家人也没能幸免，祖母陈氏、母亲黎氏以及妹妹张石宝俱都投水自尽，妻子彭氏被执，不屈而死。
新安西乡也有一支乡民的团练武装，为首之人是当地秀才陈文豹，原本只想在乱世之中保境安民，并没有明确的抗清意图，受到张家玉光复东莞县城的感召，这才决定投身于反清复明的事业之中，他的母亲也深明大义，把家里窖藏的两瓮银子和全部家产都交给了儿子，支持他招兵买马，收复失地，这一幕毁家纾难也太拉风了，引得附近义军纷纷来附，就连山匪海寇也都来了，张家玉到新安，也是投奔他来的。
听说张家玉来了，陈文豹非常高兴，赶忙带着李万荣、赵省一等将领出外迎接，跪拜道：“公台（对高官的泛称）奋举义旗，世人敬仰，能到西乡来，实乃文豹三生有幸。”
张家玉任侠好义，多与草泽豪士相交往，并不以高官自居，见到陈文豹等人出迎，早已跳下马来，上前扶起众人，说道：“我本想乘胜攻取广州，不料却败退到了这里。败军之将，承蒙御赤（陈文豹号）与诸位不弃，何敢受此大礼？”
陈文豹抱拳道：“胜败乃兵家常事，公台不必过于挂怀。我这里尚有许多兵马，愿以公台为帅，悉听调遣，必可再占东莞，光复省城！”
“御赤豪爽！”张家玉哈哈大笑，与众人入内，不免推让一番，终于在主位上坐了，说道：“诸位抬爱，张某却之不恭，只好忝居主帅之位，却也不能无所作为，有伤诸位的信任。不知诸位下一步有什么打算？”
这才刚到，不说休息休息，便问战守之事，众人心悦诚服，无不备受鼓舞，纷纷表示想要攻打新安县城，张家玉了解了义军的兵力之后，捻须笑道：“依我看，咱们可以分三步走：第一步先以偏师出其不意，攻取南头的东莞盐场，与西乡主力形成对县城的两面夹击之势，使其首尾不能相顾，从而攻取县城，然后再挥师攻取归德盐场（位于沙井一带）。得了城里的粮草，再取了两个盐课司的银钱，有饷有粮，可成大事。”
众人轰然叫好，于是依计行事，张家玉题授李万荣为参将，领兵两千攻打南头，又题授陈文豹为总兵，与他一起率领主力坐镇西乡，赵省一等其他将领也都各有题授不等，众人踊跃，轻松便拿下了东莞盐课司和新安县城，盐大使李逢春和新安典史何彦炜授首，只有知县张文煋趁乱逃了出去。
逃了就逃了吧，张家玉也不去管他，又与陈文豹等人杀奔沙井而来，很快又攻占了归德盐课司，归德盐课大使朱玉熏也做了刀下之鬼。
可是，正在义军攻打沙井的时候，新安县城里的萧一奇、黎民福情知义军难以长久，不愿跟着殉葬，联络了董天爵等人，纠集兵勇重新占据了县城，并把知县张文煋也给接了回来。
县城丢了也就没有根脚了，张家玉慌忙又要引兵来夺，李万荣劝道：“董天爵乃是将门之后，颇有韬略，既敢重占县城，必会严阵以待。我们仓促去打，恐怕难以取胜，不如退据大鹏城，养精蓄锐，徐徐图之。”
陈文豹反对道：“董天爵我也认得，虽是将门之后，却也不曾领兵，纵有韬略，不过是空谈而已，况且县城数日之内几度易手，人心不稳，并无固志，若不乘胜速战，日后恐难再下。”
张家玉点头称是，引兵复攻县城，可是董天爵用事实证明了他不是纸上谈兵的赵括，张文煋、萧一奇、黎民福等人又恐吓百姓，说是如果附逆，清朝大军一到，必然进行报复，“没见到道滘屠乡的惨烈吗？城外的逆兵可以逃走，城里人守家在地，拉家带口，逃又能逃去哪里？与其到时候白白送死，不如同心守城，好歹不至于连累家人。”
这一招管用，城里人担心清军报复，顿时万众一心，拼死抵抗义军，果如李万荣所说，新安城还真的打不下来。
张家玉无奈，只好进行围困，可是清朝的援兵却又到了，一路由监军副使戚元弼率领走陆路而来，一路由郑家军的施福、施琅叔侄俩率领，乘舟泛海而来，张家玉有过一次失败的经验，知道不能在陆地上硬刚清军，只好寄希望于水路，急忙命令叶如日和李万荣分兵前往沙井的乌沙、沙头一带，只许伏击袭扰，不许正面对战，希望能够阻滞戚元弼前进，以便给水战获胜赢得时间，从而吓退已成孤军的戚元弼。