此后余生，他便致力于‘觉民行道’，要让老百姓明白‘命虽在天，造命由我’，要让大明百姓变成不甘就范、不受束缚‘不羁之民’，然后大家一起改造这个该死的社会！倒逼当权者做出改变……
彼时的颜山农已是名满天下，又专门冲着中下层百姓发力。大明的百姓又向来不服官府的管……
可想而知，他所过之处是个什么情形。几乎每次讲学，都以群情激昂的百姓，打砸本地大户，十里八乡骚乱四起告终……
虽然颜山农每次都极力劝说百姓，不要一激动就暴动。但在官方眼中，他就是到处煽动造反的祸害。
嘉靖四十五年，他在扬州被诱捕，解往南京刑部大牢，在狱中受尽折磨，还跟画家和作家做过一段时间的狱友。
后因查无实据，加之弟子罗汝芳等人全力营救，终于在三年后，被免除死罪，戍边广西。
那年金陵莲台仙会后，罗汝芳和何心隐又托了赵昊，想办法帮他免除了‘罪人’的身份，遣返原籍居住。
张居正禁讲学，通缉何心隐后，弟子们担心朝廷抓不住何心隐，会拿老师逼他现身，便请求赵昊帮忙，也将八旬老汉颜山农，接到海外来了。