徐渭不满于胡宗宪傍依权臣严嵩，但钦佩胡宗宪的抗倭胆略，感念他对自己的信任。经过一番犹豫，徐渭还是进入了总督衙署。

此后，徐渭随总督府移驻宁波、杭州、严州(今浙江建德)、崇安等地。他“知兵，好奇计“，为胡宗宪谋划，助其擒获倭寇首领徐海、招抚海盗汪直。

嘉靖四十一年(1562年)，严嵩被免职，徐阶出任内阁首辅。在徐阶的策动下，胡宗宪受到参劾，并于次年被逮捕至京(后因平倭有功，只受到免职处分)，徐渭便离开了总督府。

嘉靖四十二年(1563年)，徐渭应礼部尚书李春芳之聘，前往京师。次年，因与李春芳性格不合，便辞归故里。不料，李春芳不能容忍徐渭的辞聘，威胁徐渭归复到他的门下。徐渭只得赶回北京，请旧友说项，才算了结此事。

嘉靖四十四年(1565年)，胡宗宪再次被逮入狱，并死于狱中，他原先的幕僚也有数人受到牵连。徐渭生性本就有些偏激，因连年应试未中，加上精神上很不愉快，此时他对胡宗宪被构陷而死深感痛心，更担忧自己受到迫害，于是对人生彻底失望，以至发狂。他写了一篇文辞愤激的《自为墓志铭》，而后拔下壁柱上的铁钉击入耳窍，流血如迸，医治数月才痊愈。后又用椎击肾囊，也未死。如此反复发作，反复自杀有九次之多。

嘉靖四十五年(1566年)，徐渭在又一次狂病发作中，因怀疑继妻张氏不贞，将其杀死，他因此被关入监牢，服刑七年。徐渭在狱中完成《周易参同契》注释，揣摩书画艺术。徐渭在狱中七年，其中只在隆庆二年(1568年)生母病故时短期出狱，办理丧事。

徐渭被下狱后，友人纷纷予以援助。其中援助最为有力的，先是礼部侍郎诸大绶，后是翰林编修张元忭(即明末著名散文家张岱的曾祖父)，他们都是徐渭的至交，又都是状元出身，颇有声望。在这些朋友的解救下，徐渭终于借明神宗朱翊钧即位大赦之机获释。这是万历元年(1573年)的事，此时徐渭已经五十三岁。

万历三年(1575年)，徐渭参加张元忭主持的《会稽县志》编修工作。

出狱后，徐渭先游览了杭州、南京、富春江一带，病体略有恢复，并交结了许多诗画之友。万历五年(1577年)，徐渭年轻时代的朋友、此时已经担负北部边防重任的吴兑邀他北上，他便欣然前往，赴宣化府充任文书。徐渭在宣府的时间不到一年，但留下了不少描写北地风光、民俗和军旅生活的诗文。在写给许多官员的赠序中，他都喜欢议论政事，尤其是关于边防的策略。

明神宗即位初年，由阁臣张居正主持国政。张居正对蒙古采取抚和的方针，徐渭对此表示赞赏。期间又过居庸关赴塞外，经戚继光介绍，至辽东寻李成梁，教授其子李如松兵法，并结识蒙古首领俺答的夫人三娘子。徐渭虽受吴兑等人敬重，但因健康不佳，只得于次年春经北京回到家乡绍兴，注释郭璞《葬书》。

徐渭六十岁时，应好友张元忭之招去北京，但不久两人的关系就恶化了。据张岱的记叙，张元忭是个性格严峻、恪守礼教的人，而徐渭却生性放纵，不愿受传统礼法的束缚。张元忭常常以封建礼教约制徐渭，这使徐渭大为恼火。他曾对张元忭说:“我杀人当死，也不过是颈上一刀，你现在竟要把我剁成肉糜!“由于和老友的交恶，加上与官僚们交往受到不平等的对待，徐渭情绪郁愤，旧病复发，便于居京三载后重归家乡。此后，徐渭便没有离开过山阴。

晚年乡居的日子里，徐渭越发厌恶富贵者与礼法之士，所交游的大都是过去的朋友和追随他的门生。常“忍饥月下独徘徊“，杜门谢客，据说有人来访，徐渭不愿见，便手推柴门大呼:“徐渭不在!“张元忭去世时，徐渭往张家吊唁，抚棺恸哭，不告姓名便离去。

徐渭一生不治产业，钱财随手散尽，此时只得靠卖字画度日。但手头稍为宽裕，便不肯再作。他的一班门生和晚辈的朋友，或骗或抢，从徐渭手中得到了不少他的作品。徐渭晚年贫病交加，所蓄书籍数千卷变卖殆尽，常至断炊。但他狷傲愈甚，不肯见富家贵室，低首乞食。有时豪饮酒肆，有时自持斧毁面破头，精神病也日益严重。

万历二十一年(1593年)，徐渭在穷困潦倒中去世，终年七十三岁，葬于绍兴城南木栅山。死前，徐渭写有《畸谱》，记述自己坎坷的人生经历。当他去世时，身边唯有一狗与之相伴，床上连一铺席子都没有。