一八七七年，雨果的诗集《祖父乐》问世。他一直喜欢孩子，理解孩子的心情，对孩子们身上淳朴、自然、富有诗意的天性感到极大的乐趣。在子女一个个不幸失去以后，他便把他的爱虔诚地倾注在孙儿孙女身上。乔治俊秀、稳重，让娜淘气、活泼。祖父常和他们一起玩，给他们画像，还收藏他们的小鞋，就象冉阿让收藏珂赛特的小鞋一样。孩子们说过什么话，他也记下来。
让娜说过：“我是老爸爸家里的宝贝，不过我一句话没讲。”一八七三年十月三十一日，维克多·雨果手记：“乔治没听他妈妈的话，吃了一罐果酱。他对我说：‘老爸爸，你就答应我今天早上吃了果酱吧，好吗？’……”
十月二十九日：“昨晚，我发现床上有个洋娃娃，是让娜放在我枕头旁的， ‘好陪老爸爸一起困告”（睡觉）。’”这些新发现令他高兴异常。两个孩子将玩具摊在他的手槁上，他也听之任之。一八七三年十一月十二日：“午饭后我们一起去了圣芒代，有她［朱朱］、我及让娜。可怜的孩子要多乖有多乖，很文静，身体也结实。让娜拥抱了姑妈，回来时老在谈她……”归途中，他们在糕点铺里买了糕点。乔治四岁半时（一八七三年二月十四日），看过重新上演的《玛丽蓉·黛罗美》，第二天，他便老是在说：“穿红衣的人走过！”在巴黎圣母院前，乔治骄做地说：“这是老爸爸的塔楼。”雨果将自己的书题辞赠给两个孩子，而且郑重其事。在要送给孙儿的一本《凶年集》上，他写着：“留赠乔治，十五年后”。
我热爱未来，这来自心底里的想法，因为，我将要死去，而你、却你即将长大。
在送给让娜的那一本上写着：
你的小身影充满这部古怪的史诗。
读吧，让娜。既要长大，又要永远是天使。
两个孩子都还很小，但雨果要求儿媳，凡是重大晚宴都要让他们参加。
保姆们往往要到晚上十一点才能带他们上床睡觉。不过有时候，乔治·雨果后来写道，“我们给嘈杂的人声弄得头脑发胀，饭才吃了一半就睡着了，爱德蒙·德·龚古尔告诉过我，说有天晚上，让娜手里拿着鸡腿，面颊埋在菜盘子里就迷迷糊糊睡着了……”
逢到重大日子，孩子们举杯祝“老爸爸”健康长寿。二月二十六日这天，让娜说：“我呀，人最小，我为最大的人干杯！”在默里斯或瓦克里的文章里提到过此事。庆祝她自己的生日时，让娜不好意思地说：“为我‘甘’一杯呀！”要是雨果在嘀嘀咕咕，让娜便责备他说：“有我们爱你，别怪人家了。”小玛尔特·费瓦尔（三岁）不听话时，让娜（六岁）便一本正经地对她说：“玛尔特！维克多·雨果先生在看着你呢！”祖父常常给他们讲故事，有《坏男孩和善良的狗》，有《该死的国王与好心肠的跳蚤》等等。他用鹅毛笔在硬纸片了画画，有给好学生画的，也有给坏学生画的，两个孩子都能在餐桌上自己的餐巾下找到。“这些画，有的是画头发鬈曲、头上顶着一圈星星的孩子天使般的小脸蛋；有的是一些画得古里古怪的鸟，它们栖息在繁花满枝的枝头，张嘴唱歌……”
《祖父乐》中有一部分内容就是根据这位“疼爱儿孙、满心欢喜”的祖父的笔记写成的。有好几首诗（《月亮》、《“让娜在黑屋子里被罚吃干的面包”》），便是把孩子们的话编成诗句而已。还有一些诗，则表达了这位祖父的诧异心情，他是一个曾经向皇帝宣过战的人，却被一个小小的孩子打败。他认为，诗人始终应该从生活的场景升华到神秘的境界中去。在植物园，他用孩子和圣哲的双重眼光观看猛兽。孩子们的笑声不断。老人却陷入沉思：
我从来要求上帝小心，如此伟大的诗人依然劲头十足，应该允许他这样，且不要生气，如果他把粉红的桃花画得很精细，却把一条彩虹套上温顺的海洋，先给我们小峰鸟，再给我们大象！
他有他自己趣味不雅的古怪脾气：对任何事物都理解得太离奇，让水蛇深渊翻滚，叫小虫阴沟浮沉，能集米开朗琪罗和拉伯雷于一身。
这就是上帝，我接受……
这首诗是为上帝也是为雨果而辩护，同时又在为大自然和诗歌中的反衬现象进行申辩。在老虎面前；孩子们说：“瞧这只大猫！”诗人为“感到无聊的深渊张开大口打呵欠”而困惑不解。同时又为能看到“一个方面是恐怖，一个是方面是爱情”而欣喜异常。由于这位大师精湛的技巧不断在提高，他又给这部集子补充了一些毫无内容可言的诗篇，其中有些居然竟是超现实主义的，如《黄昏即景》，另一些则是印象主义的，如这一首描写根西岛清晨时各种黎明声响的诗：
我听到人的话语。眼睑透出了亮光。
当当当是圣彼得教堂的钟在摇晃。
游泳的声音。近了！远了！不！越来越大！
不！越来越小！小鸟，让娜，都叽叽喳喳。
乔治在喊她。公鸡在打鸣。一把镘刀在刮层顶。蹄声得得，马在街上奔跑。
嚓嚓在声，整修草地的长柄镰刀。
层面工在层顶上行走。砰！乱糟糟。
海港的声音。机器发动，在尖声鸣叫。
军乐队的军乐声正一阵阵地轻飘。
码头上人潮汹涌。有人用法语说：“再会。
你好啊！谢谢。”时间已肯定不早。因为我的红喉雀到我身边来放声歌唱。
远处打铁铺的铁锤已敲响：当当当。
水声劈啪。听得到一艘汽船在气喘。
飞进一只苍蝇。茫茫大海在呼吸。
诗集极为轰动。人人都被诗中朴素而美好的激情所感染。一个当祖父的人，肯当祖父，爱当祖父，总是会叫人喜欢的。把孩子们视若神明，犹如众多的诗人曾咏唱过自己的情妇一样，这种做法是过去从未有过的。泰奥菲尔·德·邦维尔写道：“写出《历代传说集》的诗人，也只有这位诗人，才会想到将诗的题材转到这上面来。因为确实可以说，在诗歌及艺术中，“孩子”是从雨果笔下诞生的；而且也只有在雨果作品中才开始生活……”初版在几天内被抢购一空，很快又连续再版了几次。正象伦敦人赞美他们的王太子一样，乔治和让娜成了巴黎城所赞美的两个传奇般的孩子。