直到文革抄家时，段昌建才知道自己是段祺瑞的孙子。“那些红卫兵说我是军阀的后代，我当时就不明白，一家5口人住在16平米的房子里，怎么就成了军阀的后代。”后来母亲告诉他，在他还未出生时，拥有500多间房子的老段府被政府没收了，几经周折，他们一家被安排到这间16平米的房子中。
从此，“军阀”这个词伴随了段昌建的整个成长期：上学时，填家庭出身，虽然父母都是老师，但他只能填“军阀”；一到“三一八”惨案那天，他就躲避不敢去上学，怕被同学和老师责骂；初中毕业他报名参军，体检都过了，政审被刷下来，因为他是军阀之后；他没有机会参加高考，也没有机会入党；因为房子太小，人太多，他只能睡在父母的床底下。
对于爷爷段祺瑞，段昌建直言没留下什么值钱的东西，他反倒因为家庭背景错失很多机会。为官时，段祺瑞“不抽不喝不嫖不赌不贪不占”，人称“六不总理”，他信佛吃素，为人严肃刻板，不苟言笑，生活朴素，清廉如水，无积蓄房产，一生中除了收过冯玉祥的几块南瓜再也没有收过礼。自始便有家人“不从政不从商不从军”的家训，他甚至没有为两个儿子谋过什么职位。
段昌建是段祺瑞最小的孙子，也是当前唯一在世的孙子。他的父亲段宏范是段祺瑞54岁那年所得，是最小的孩子，段祺瑞去世时他年仅18岁。说起自己的父亲，段昌建用了“胆小，无所作为”等词，年少时身为段家二公子，养尊处优；年轻时，尊父训儿子“不从政不从军不从商”，虽入了南开大学上学，却并未谋求什么职位，一大家人全靠蒋介石每月给的2000大洋；49年后，所有的生活来源中断，就靠变卖老段府中的东西过日，仅那台德国造的锅炉就被卖出过三次，每一次都被大哥段宏业赎回。
再往后，没有工作没有生活来源的段宏范去找章士钊帮忙，章士钊出面找毛泽东谈段家后人的情况，毛泽东问都会些什么，章士钊答夫妻两都是从南开大学毕业，毛泽东便批条子让段宏范和妻子去了小学当老师。
实际上，章士钊帮段家人不止一次两次。段祺瑞长子段宏业的二子段昌仁在49年后倒卖小五金，东西被扣押，自己害怕跑到新疆，是章士钊把此事给保下来，他才从新疆回来。段祺瑞的小孙女段慧敏上小学时，因老师和同学笑她是卖国贼的后代，受到很大刺激不去上学，也是章士钊找到毛泽东反映情况，怕段家的历史包袱影响后人，毛泽东当时指出，段祺瑞是一个历史人物，对他的后代不应该上纲上线。日后，各方面对段家后代就比较讲究政策了。
如今段祺瑞的子孙们遍布多地，美国、加拿大、台湾、天津、北京都有后裔，不过在北京就只有段昌建一家，他还住在那16平米的小房子中，他曾四处找人问询试图要回老段府，但回复都是那是历史问题，没有政策无法解决。08年他曾进入老段府看过，四周的房子被拆了许多，但内核还保留着旧貌，那些已经是文物了。 （拾年）
