就这样，冉阿让和珂赛特愉快的在这座院子待了好些年。他很爱珂赛特，一看到她，他就会感觉到内心里产生了父爱，而且这种感觉日益增长，他心想这孩子属于他，谁也休想把她夺走。他有着这样的想法，如果一直在这儿待下去，在修院这种环境中，每天耳濡目染，珂赛特一定会出家当修女，这样他们就永不分离了，不过，他扪心自问，他觉得这是自私的，如果以使她免遭人间的风雨为由，也不同她商量，就先行斩断她和一切欢乐的联系，利用她的蒙昧无知和孤苦伶仃，就引导萌发她献身修道的志向，那就违反人的天性，也欺骗上帝。他反复思索，最后伤心的承认非离开修道院不可，于是，他开始等待时机。
时机很快来临，割风老爹去世了。于是，他请求院长接见，说明他哥哥临死前留下一小笔遗产，今后他不用干活就能过日子了，并打算辞职同时把女儿带走，不过珂赛特没有发愿，免费接受教育也不公道，因此，他恳请院长俯允，他向修道院捐赠五千法郎，作为珂赛特在修院五年的赔偿。
就这样，他们离开了修院。
他离开修院时，有只小提箱夹在自己腋下，箱子里逸出一股香料味，引起珂赛特极大的兴趣。并且，这只箱子总搁在自己的房间里，每次搬家，总要带上它。珂赛特拿这当笑谈，称这箱子为“形影不离的朋友”，还说：“真叫我忌妒。“然而，她不知道，里面装的其实是她小时候穿过的衣服和鞋子。
他们搬到了普吕梅街，不过为了安全起见和避免引起别人的注意，他另买了两套简陋的公寓，一个在西街，一个在武人街，他们就在这三座房子轮流住。他依旧用于尔梯姆·割风这个名字。
搬到新的住所后，他们常常去卢森堡公园，并选择总在同一个位置上坐着促膝交谈，他总能用自己在书籍和苦难经历中汲取的知识来向她讲解各种各样的问题，珂赛特一边倾听，一边喜欢游目四望。
在卢森堡公园，有个叫马吕斯的青年也常常在这儿，不过他是散步，并没有在这儿坐着的习惯。马吕斯——上校乔治·彭迈西的儿子，然而他并没有跟他父亲一起住，也不知道他父亲长什么样，为什么？他的父亲很不幸，在滑铁卢战役中，他作战英勇，被拿破仑封为上校，但之后复辟王朝把他遣送到居住地维尔农，也就是监视起来，百日政变后，彭迈西的荣誉团军官称号以及上校军衔和男爵爵位均不被承认，然而他却不失时机，总签署“上校男爵彭迈西“。彭迈西一无所有，仅靠微薄的半饷度日，他深爱的妻子——吉诺曼小姐已经去世，他的妻子去世时只留下一个孩子——马吕斯，但马吕斯的外公硬要讨去，扬言不交到他手里的话他就取消孩子的财产继承权。父亲为了孩子的利益只好让步，双方约定：彭迈西永远不得企图看望儿子，不得同儿子说话，否则就取消孩子的财产继承权，赶回他父亲家去。这个外公——吉诺曼先生，为何如此痛恨他的女婿，因为在他眼里，这个在共和帝国为军队效力、在奥斯特里茨战役中得过勋章、在滑铁卢战役中得到晋升的上校，是一个背叛他们的合法国王的逆贼。
马吕斯来到了外公家，但他并不很喜欢这个外公。他的外公——吉诺曼先生，身体十分健朗，但他看事肤浅，又风风火火，容易动怒，动辄大发雷霆，却往往违拗清理，有时，他一发火就痛打五十出头还未结婚的女儿，还拿她当八岁的孩子。然而他很爱马吕斯，但对他却声色俱厉，骂也是常态。马吕斯渐渐长大了，在他十七岁那年，他的外公突然叫他去看他父亲，马吕斯惊抖了一下，因为他从来没想到会有一天去看父亲，在他眼里，这同时也是件苦差事，“他好像病了，要见见你。“他的外公补充了一句。次日，马吕斯在暮色中到达了他父亲的住所，然而，此时，他的父亲已经害了大脑炎死了，这屋里的人都在哀悼——女佣人在角落里抹眼泪，本堂神甫在抽噎着祈祷，大夫在擦眼泪，死者本身也流泪了——这滴泪，是因为儿子迟迟不到。此时，马吕斯无动于衷，他自己不免感到惭愧和尴尬，便让自己手中的帽子失落在地，以便让人相信他十分痛苦，不过他又感到几分内疚，蔑视自己这种行为。然而，这是他的过错吗？他不爱父亲，就是这样！上校什么也没留下，变卖家具的钱也勉强只够丧葬费。女佣人发现了一张破纸，交给了马吕斯，这张纸条正是彭迈西写给他儿子的，这张纸条大意就是要儿子承袭他的男爵这一爵衔，同时报答德纳第，因为在滑铁卢战役中他救了他。可是彭迈西哪里知道，当年在滑铁卢战场，德纳第为了窃取死人的财务，偶然把彭迈西上校从死尸堆里挖出来，上校不知所以，便把德纳第认作救命恩人。
马吕斯只在维尔农逗留了四十八小时。安葬一结束，他就回到巴黎，继续修读法律，并不怀念父亲。他的帽子仅多了一条黑纱而已。
一个星期天，他跟往常一样去圣绪尔皮斯做弥撒，不过，这天他遇见了马伯夫先生——本堂财产管理员，马伯夫跟他讲了一个父亲的故事——即使他不认识马吕斯。他跟他讲，这个父亲一年好几年，每隔两三个月，就会到这里来并躲在一根柱子后面，一边望他孩子一边流泪，这情景，在马伯夫心目中，这里，就变得神圣了，最后他讲的内容让马吕斯一下子就意识到他讲的那个“父亲”就是自己已逝不久的父亲，这使马吕斯的脸刷的白了。
在这之后，他读了《政府公报》，读了共和国和帝国的全部历史，他在大军战报上头一次遇见他父亲的名字，之后就整整发了一周的高烧。他又去拜访他父亲曾在会下效过力的那些将军和马伯夫先生。他发觉，过去他既不了解自己的国家，也不了解自己的父亲，他心里充满懊悔和愧疚，最后，他转变了对父亲的看法，开始着迷地崇拜他父亲，接着自然也改变了对拿破仑的看法。
一天，他的外公发现他的房间留着他父亲的纸条以及马吕斯的名片，名片写着马吕斯·彭迈西男爵，这一切让他感到愤怒，马吕斯被迫离开了这所住宅。
马吕斯生活艰难了，为了糊口什么活儿都得干，饱尝生活的厌恶和沮丧。马吕斯学会了如何吞下这一切，如何总吞下同样的东西。
不幸的遭遇消除了马吕斯的怨恨，他想到吉诺曼先生时就只有温情了，但他始终坚持不再接受“对他父亲不好”的人的一钱一物，而且，如今他高兴受苦并还在受苦，这是为了纪念他父亲。
马吕斯的乐趣就是独自长时间散步，他散步不是真的在散步，而是在思考，他喜欢思考，但他偏爱沉思可以说是有点过分了。他当了律师后，生计差不多有了保障，便停下来，觉得还是安贫为好，减少工作，以便多多思考。眼下，他虽是律师，他却既不接大案，也不为人打小官司。一次，他在散步中发现了戈尔博老屋，受那僻静的地点和便宜的房租的吸引，便搬过去住了。一天，马吕斯从给他做家务的老妇人得知他的邻居容德雷特那户穷苦人家因欠房租二十五法郎将要被赶走，马吕斯便从自己备用的三十法郎拿出二十五法郎给这个老妇人，叫她帮他拿给这穷苦人家，同时叫她不要透露是他给的。
一年多来，常在卢森堡公园散步的他自然发现了冉阿让和珂赛特，不过他们互不相识。
有一次，不知怎的，他近半年没有踏进卢森堡公园，后来有一天，他又故地重游了。
在这里，他看见熟悉的他们俩。他发现，男子虽然还是原先那个男子，但女孩好像不是原先那个女孩了，现在，在他眼前的是个修长美丽的姑娘。他认真打量那姑娘后才认出原来还是那个姑娘。
有一天，珂赛特突然抬起了眼，刚好与马吕斯的目光相遇。年轻的姑娘眼里有什么呢？马吕斯说不上来。什么都有，什么也没有。那是一道奇异的光。其实，珂赛特已经注意到他了，并对他产生了好感。
那天晚上，马吕斯回到陋室，瞧了瞧自己的衣服，头一次发觉自己的服装是这么不整洁，不体面。到了第二天，马吕斯从五斗橱里拿出新上装、新裤子、新帽子、新靴子，又戴上手套——惊人的奢侈品，这才前往卢森堡公园。
在路上他遇到了好友库费拉克，却假装没有看到，库费拉克便认为他是去考试，当然，并不是。
他穿着新装，依旧跟往常一样在卢森堡公园走来走去，依旧从他们面前来回走过，不过，这回他的心里有了变化，他开始在意那位姑娘是否看他，并且，他开始用白先生来暗自称呼冉阿让。到了晚上，他用刷子刷净衣服，重新叠好，然后才上床睡觉。
从此，他每天都穿着这套新装到卢森堡公园，不过，半个月过去后，他开始不再是散步，而是闲坐了。
一天，冉阿让和珂赛特朝他走来了，不过这是珂赛特的主意。他看见珂赛特凝眸注视着他，那若有所思的温柔神态，令马吕斯从头到脚都酥软了，他很快坠入了情网。
整整一个月过去了，在此期间，马吕斯天天去卢森堡公园。时间一到，什么也拉不住。“他上岗去了。”库费拉克这样讲。
马吕斯开始