99岁的杨振宁有3个孩子，都是已过世的妻子杜致礼所生：大儿子70岁，二儿子63岁，小女儿60岁，子女们都定居美国，也都比“继母”翁帆年纪大很多，因为翁帆只有45岁。
杜致礼比杨振宁小5岁，两个人做了整整53年的恩爱夫妻，直到她离世。结婚的时候，杜致礼23岁，杨振宁28岁。杜致礼过世仅1年之后，当时已经82岁的杨振宁和28岁的年轻姑娘翁帆领证结婚，这段年纪相差54岁的“爷孙恋”引起了轰动。不得不说，杨振宁是幸运的，前面的大半辈子有爱妻杜致礼的陪伴，后面垂垂老矣的岁月，有年轻漂亮的翁帆携手共度。从2004年结婚至今，这段“爷孙恋”黯然地走过了17个年头，如今杨振宁99岁了，即将成为百岁老人，而翁帆也45岁了，当初大眼睛的清秀姑娘也步入中年，开始老了。前几年，也就是两个人在一起生活了十几年后，当时已经95岁的杨振宁被问及为什么不和翁帆要一个孩子。毕竟赌王何鸿燊在78岁的时候，四房还为他生下了幼女何超欣。
杨振宁和翁帆在一起的时候，82岁的他也就比78岁多了4岁，翁帆还很年轻，生个孩子也是有可能的。结果杨振宁说：“我们不宜有孩子，在我百年之后，她独自一个人带着孩子会很辛苦，希望她将来改嫁能找个好人家。”其实，翁帆在杨振宁之前有过一次失败的婚姻，当时她才20岁出头，和一个香港的普通职员结过婚，不过这段婚姻持续了不到2年。杨振宁和翁帆已经携手走到第17年了，这应该出乎很多人的意料。很多人觉得杨振宁不厚道，妻子去世才一年，就找了一个比自己小50多岁的小姑娘。也许是常年在西方生活，杨振宁对感情看得比较开，他说过即使不和翁帆结婚，他也可能和别的女人结婚，因为自己不想度过一个孤独的老年，他还曾举过一个英国数学家的例子，这个数学家在妻子过世后就没有续弦，独自一人生活，最后连书页上都有饮食的污渍。
按照杨振宁的说法，他续弦的初衷无非是想有个“老来伴”，能料理自己的日常起居，互相有个照应，没想到却马上找到一个能当自己孙女的女人，愿意做自己的“老来伴”。最后想说：杨振宁说希望自己百年之后，翁帆能改嫁找个好人家，不过经历过这段轰轰烈烈的“爷孙恋”，如果翁帆改嫁，估计会找一个外国男人吧。