郭巨所城的少千户汪帆之请了沈明臣作塾师。余姚知县胡宗宪因为谢家庄被双屿港的佛朗机夷所洗劫，带了谢志望来郭巨了解双屿港的倭夷情况。佛朗机夷和倭寇盘踞在双屿港，危害东南沿海。胡宗宪看到了郭巨城官军老弱病残，但他仍有信心，因为他降服过山寇。然而人微言轻，他仅仅是一个知县，他在郭巨拜会了千户府，就回余姚了。谢志望与倭寇海贼不共戴天。他也看到了官军老弱病残，缺乏战斗力，这反而激发了他组织义军抗倭抗敌的决心。