出狱后的冉·阿让拿着他坐过牢的黄色护照，处处遭人冷眼，在他想要住旅馆遭到拒绝后，他就想住到拴马的马房里，即便是这样，旅馆的女主人还是死活不同意，最后把他撵了出去。走投无路的冉·阿让就顺着原路返了回去，他想继续回到监狱里住一宿。他朝着监狱的看守说，他只住一晚，等天一亮，他就会离开。看守监狱的人就对他说，监牢又不是客栈，于是，他就灰溜溜的走了。
疲惫不堪的冉·阿让后来找到一处狗窝，刚想稍稍休息一下，可是，那狗却一直朝他狂吠个不停，他觉得连狗都在欺负他，不得不起身离开。没人收留、被狗咬的冉·阿让被一个叫米利埃的主教收留了，这位善良的主教才不管外面什么风言风语，他极力地对这个别人都嫌弃的人给予了帮助和照顾，他让他和自己一起用餐，还让他住进自己的住所。
在监狱里呆了十九年的冉·阿让，已经快被磨成一个心智不健康的人了，他认为，善良和恶已经没有太大区别了，将来还是会被人嫌弃的，于是，他就悄悄偷走了主教家中的银器。逃跑的途中，被警察认出他可能是个小偷，经过一番询问后，于是就把他带到主教面前，然而主教却说这是他送给冉·阿让的，因此，也让冉·阿让再次免了一场牢狱之灾。
走出主教住所的冉·阿让没想到这么容易就没事了，十九年劳役，使他的心一面在上升，一面也堕落了。他怀着怨恨的心理，在半路，捡了一个叫小瑞尔威的四十个苏，却不承认是他拿走的。但很快，他就良心发现，想把钱还给小瑞尔威。他蹲在原地等了好长时间，都没有等到那个孩子，于是，他懊恼的哭着喊道：“我是一个无懒！”二、市长与苦役犯之间的身份转换此后，冉·阿让到了一座叫滨海蒙特勒伊的城市，他为自己起了一个叫马德兰的高大上的名字，他自己开工厂，一步步从小做大，成为当地一个有名的企业家。
当上企业家的他还经常做慈善，为穷人们发放救济，于是人们就推崇他当市长，虽然他推迟了好多遍，可是，连国王都表态让他当市长了，他就难以拒绝了，最终成为滨海蒙特勒伊市的市长。当上市长的他，关爱妇女和穷人生活，备受大家喜爱。在马德兰的工厂内，有一个叫芳汀的女子，由于她未婚先孕，有一个私生女儿正在别人家里代为看养，那个替她养活女儿的人家是孟费一个叫德纳第夫妇，虽为代养，实际却经常虐待她的女儿。
后来芳汀工厂的人们都知道了这件事，因此她就受到了大家的非议，由于有人制造诬陷芳汀的恶名，最后在马德兰的一声令下，芳汀这个苦命的女人就失去了一份养活女儿的工作，她还受到了德纳第夫妇的威胁，声称她的女儿柯赛特生了重病，要求她打不少的钱过去，没了工作的芳汀走投无路之下，就到江湖上的牙科那里卖了她的两颗洁白光亮的牙齿，没了牙齿的芳汀，长相丑陋不堪。
