戚继光的这次治军之举取得了很好的效果。可是他并不以此为满足。山东毕竟不是抗倭战斗最激烈的地方，他的心时时刻刻牵挂着战事频繁的江浙一带，他日夜提醒自己，以国家急难为己任，时刻准备着杀到抗倭第一线去，报效祖国。他在一首《过文登营》的诗中就表达了这样的感情。
冉冉双幡度海涯，晓烟低护野人家。
谁将春色来残堞，独有天风送短茄。
水落尚存秦代石，潮来不见汉时槎。
遥知百国微茫外，未敢忘危负岁华。
不久，戚继光终于迎来了他期待已久的这一时刻，朝廷终于将他调到江浙一带的抗倭前线，戚继光怀着无比激动的心情踏上了新的征程。
戚继光到浙江后，曾向胡宗宪提出练兵的建议。他所陈述的理由是中肯的。他说“守不忘战，将之任也；训练有备，兵之事也。”戚继光认为即使乡团作战也比官军勇猛，他提出要到义乌招募农民和矿夫为新兵，加以训练，让他们把自相火并的力量用到消灭倭寇的斗争中去。正在这时，义乌县令赵大河也上书要求戚继光亲自到义乌招集争斗双方的农民和矿夫参军，以抗击倭寇。这个建议正好和戚继光的想法一样。于是，戚继光决心亲自到义乌招募新兵。
消息一传开，议论纷纷，不少人认为乡团和矿夫都是“罪人”，招募“罪人”参军无异于“病狂丧心”。但是，当时抗倭名将台州知府谭纶却支持戚继光的设想。后来戚继光在一首《蓟门述》的诗里透露了这件事。
“檄募婺越士，知交苦相留。
当日主此盟，惟有谭郡侯。”
募兵也不顺利，他贴了一份布告，题为《谕以君父水土之恩》，号召农民、矿夫丢掉前隙，共同起来保卫家乡，抗御倭寇。布告贴出之后，并没有人来应募。后来了解，双方的头目和农民、矿夫都在观望。戚继光一面向他们说明在这里募兵的原委，一面晓以爱国的民族大义。
其实，不论是乡团首领陈大成还是矿夫首领王如龙都不存心和戚继光为难，他们历来对这位抗倭将领，抱有敬佩之心。所以，听戚继光陈明募兵原委以后，陈大成和王如龙都各自率领乡亲和矿夫前去应募，两支相为仇敌的队伍都成为戚家军的骨干，为抗倭事业作了杰出的贡献。
戚继光从应募的人员中挑选了4000多名，带回绍兴，经过2个月的严格训练，建立了一支军纪、法度比较熟练的部队。建军以卫民为目的，戚继光首先教育新战士，建立这支队伍是为了保卫家乡的安全。
戚继光的练兵思想，是纪律和武艺、教育并重。纪律训练的目的，在于克服农民、矿夫原来的自由散漫思想，用严明的纪律把他们组织起来，使他们能服从命令、听从指挥、不损害百姓的利益；而武艺的训练，即让士兵掌握杀敌的本领。
他曾经启发部下，武艺训练并不是“应官差的公事”，而是立功、杀贼、救命的“本身上的贴骨的勾当”。因为，你有高强的武艺，就能杀了贼，贼如何又会杀你呢？但是，如果你武艺不高，不如敌人，那么，贼“决杀了你”。这种浅显的说教，是很有说服力的。
戚继光训练士兵的另一个思想，是军官以身作则。他认为军官凡事要身先士卒，但这不仅是指临阵作战时要身先士卒，即平时训练时也要身先士卒。只有军官带头，士兵才能奋勇作战。
经过上面的训练和改革，戚家军不但纪律好、责质高，而且熟悉作战阵法，是一支战斗力很强的部队。