从次日起，针对袁大郎可能的再次到访，阮家也渐渐做好了准备。而此时的阮元，也已经结束了温州的督学工作，一路沿海北上，往最后的目的地台州而来。
独向江心挽倒流，忠臣投死入东瓯。
侧身天地成孤注，满目河山寄一舟。
朱鸟西台人尽哭，红羊南海劫初收。
可怜此屿无多土，曾抵杭州与汴州。
温州紧邻瓯江，瓯江之上，有一所文天祥祠堂，阮元此次南下督学，偶遇此祠，遂赋诗一首以纪念。过了文天祥祠之后，焦循便暂时与阮元分手，回金华带船只北返，阮元与杨吉则继续沿海而上。
这一日过了大荆营，已是台州府境内，阮元一行对这里也早有了解，知道附近便是太平县城，若是行路快些，当日就可以赶到太平。可就在此时，忽然路上十余人迎面而来，一群，想来是数户人家，全家出门，又各带了些行装。走过不数里，又是十余户人家迎面拖家带口而来，又过里许，只见一排柳树之下，竟有百余人坐着歇息，以户数而论，当不下二三十户人。
杨吉看得好奇，也走上前问道：“各位，劳烦问一句，太平县是往前走么？你们这里今日，又是有些什么风俗？怎么今日竟都往西边来了，却没有人往太平县去呢？”
“往太平县去？”一个渔民打扮的路人惊道：“眼下这个节骨眼上，你们去太平县，你们是不要命了么？”
阮元听了，也自觉得有些不对劲，忙走过来问道：“老人家，我等是西边来的客人，之前看台州府地图，知道这里最近的县城就是太平县，若我们车马快些，今日日落前肯定能到了。可是……这里究竟是发生了什么事呢？怎么方才他一说太平县，你们就似遇上了妖魔鬼怪一般啊？”
“要是妖魔鬼怪，那倒好了，咱们也逃不得，就这样死了算了。可太平县那边，眼下就要被海寇攻占了。”另一个渔民道。“我们原是南边隘顽寨的渔民，昨日忽然听得，东面松门那里，传来了海警，有一大群海寇从松门上岸了，正在那里抢掠村镇呢。这松门距离太平，行路一日也就到了，想来也是那些人抢掠得多了，今日一时没有西进，咱们才趁这个机会，收拾了家当逃了出来，想着前面不远就是雁荡山，海寇在海边平日嚣张，山里我看进不去。”
“这海寇真有那么厉害？”阮元不禁问道。
“何止厉害，而且……而且是真敢动手啊。”渔民道：“我听朋友说，松门那里有户人家，家主人姓田，是个读书人，平日书读得刻苦，就是那什么……什么八股文写得差了点，一直考不上秀才。去年眼看着时来运转，新来的学使说是只认真才实学，不管什么八不八股，看他是个真读书的，终于取了他做秀才。这田秀才一高兴，就设了一桌宴席，想着读书这许多年过得都是清贫日子，终于这有一天可以放下心了。可不想就在那一日，海寇来松门肆行劫掠，竟然打上门来，掳了这生员老母妻子二人过去。说一人要五百两银子赎金，才能放回来。田秀才无奈，连宅子都抵了出去，可也只得五百两银子，原想着也不少了，海盗来了一次劫了老母妻子两个人去，如此漫天要价，也不公平啊？可海盗却说，必须一人五百两，否则绝不放人，看着田秀才没有余钱可缴，就……就杀了他妻子……听说那田秀才这一年下来，头发都白了，书也读不下去了。那得了他宅子的田主倒是客气，把宅子又还给了田秀才，说慢慢还钱就好，可那又能怎样？人总是回不来了，这田秀才一个好好的读书人，后半辈子也就这样毁了……”
阮元听着渔民之言，回想起上一年初秋，他迎了谢雪回来后，便即南下台州督学。当时台州太平县确实有个田姓童生，文辞朴实，下笔有据，只润色之功稍欠，想来日后是可以做学问的，便即破格录取。当时自己对他还曾有些鼓励，却不幸遭此劫难，生不如死，也不禁低下了头，暗自伤感。
“这位大哥。”杨吉问道：“你说海边的镇子，被海寇抢劫了，这官军哪里去了？想来这些海边的镇子，附近本应有官军驻防才对啊？难道他们看了镇子被劫，还能坐视不理不成？”
“官军？官军跑得比我们还快呢！”之前的渔民怒道：“前些年没有海寇的时候，官军就不是什么好东西，镇子里出了盗贼，要么是剿捕个十天半月，找不到人就算了，要么是随便抓个人顶罪，看样子就知道，抓的都是老实渔民，哪里会做贼呢？和他们打照面的时候，满口说的，都是赌钱啊，女人啊，哪里有把我们身家性命放在心上的？我还听人说过，当兵的手里的鸟枪，都是几十年前的存货，早就坏了，见了海寇，那也只有跑的份了。”
“这还不是最恶心的呢。”另一位渔夫说道。“这些海寇啊，去年就到过鹿屏山、鹿栖山那里，那边本也有官军守着，可海寇一来，都不知道跑到哪里去了。然后呢，过了几日，他们居然又回来了，当时一个村子里还有几户人家没逃出去，这倒好，官军来了，把他们全都杀了，然后拿了人头去邀功。你们说说，这不是官逼民反吗？听说今年海寇人数比去年还要多，那定是海寇里面，多了不少被掳的百姓了。说不定有些和咱一样打鱼的，想想投海寇也是死，官军回来了也是死，还不如投了海寇呢，这辈子总有些日子，能做做没本钱的买卖，也值了。”
阮元和杨吉自然不会认同这样的想法，轻轻摇了摇头，但思来想去，既然官军都无力制止海寇，勉强这些渔民似乎也没什么用。
“我说你们啊，去太平县是有什么急事吗？”第二个说话的渔民还算好心，劝阮元和杨吉道：“若是本也不急着去太平县，还不如和咱们一起，先去那边大荆营安歇一日呢。海寇嘛，我看走不了这样快，而且咱们要不走得快些，你看后面，还有好几十户人呢，待会儿到了大荆营，只怕连歇息的地方都没有了。”说着也站了起来，对身后诸人招呼了几声，一行人也纷纷站起，又踏上了背井离乡之路。
阮元和杨吉看了，知道这个时候，也不能和海寇硬碰硬，只好避其锋芒，略一沉思，便也和这些渔民一道折返了回去。阮元也问起渔民有关海寇样貌、武器诸事，可这些渔民并未见过真正的海寇，只是说见过海寇的船，倒是比渔船，甚至一些官船都要大上许多，除此之外，便尽是添油加醋之语，难辨真伪。
阮元等人好容易折回大荆营，后面也不敢再去沿海各地，只得直趋黄岩，随后到了台州。台州（清代台州府治在今镇海）距离海滨尚有六七十里，所幸这年海寇也只在浙江海岛、沿海各镇有所劫掠，不敢深入内地，阮元等人在台州的督学，才得以平安完成。
过了台州，想着杭州以外各府督学之事，终于大功告成，阮元也不由得松了一口气，又担心海边犹有警讯，这次北返，便不再走海路，而是取道天台县，经天台山北上。此时浙江已是盛夏气象，正是天台山、天姥山林木葱郁，蔚为大观之时，阮元和杨吉流连数日，此番南下督学的沉郁之情，方才渐渐消散。遂在曹娥江中寻了船只，一路沿江北返，入了浙东运河，再折而向西，阮元也早早去信告知焦循，要他把船开到绍兴府，一行人则在绍兴府再次集合西归。
这日行船到了梁湖镇，正是曹娥江与浙东运河交界之处，阮元便暂时叫客船停泊，想着到镇子之上略行游览，再向西归不迟。
走了半晌，杨吉忽然看着一家店铺笑道：“伯元，你看他家牌子，好生阔气！”阮元一听，也不禁抬头望去，只见这家酒店门前，竟立了一块巨大牌子，上书“绍兴老酒”四个金字，每个字都如酒桶般大小，牌子之大，竟掩过了整整一扇侧窗。