本想再回到母亲身边，以自由人身份同家人团聚在一起，得享天伦之乐。遗憾的是母亲蒋老太太早已去世，“黑大姐”也已经出嫁远走，从前的老房子竟被一个本家人擅自卖掉了。文绣只好同已经离婚的妹妹文珊另在北平租房安家了。文绣从溥仪那里所得的生活费，先是支出一大笔钱还清了聘请律师的薪金，给清了打官司所用的开销，最后又被玉芬骗走了一笔，手里所剩的也就不多了。[6] 

1932年的暑假刚过去，文绣恢复了傅玉芳的名字，在北平的府佑街私立四存中小学当上了一名教授国文和图画的教师，这是文绣离开溥仪，回到北平后第一个风光的职业，心情特别愉快。因文绣粉笔字写得好，嗓音清亮，讲解国文课透彻明白，学生都非常喜欢这位老师。没想到不多日后，有人查知新来的女教师傅玉芳本名叫额尔德特·文绣，出身满洲贵族世家，原本是清末皇帝溥仪的皇妃，在宫中称做淑妃。宣扬出去之后，顿时成为学校里和北平市面上的一大新闻轶事。北平各类报社记者纷纷前来采访，尔后即以绯闻艳事登载于报端，几乎使北平家喻户晓了。于是有众多好事之人，前来四存中小学门前等候，观瞻昔日皇妃的风采。来人越聚越多，使文绣处于活人遭展览的难堪处境中，不得不于1933年底辞掉她心爱的教师职业。因皇妃身份暴露，她租下的房子也不能再居住下去了，便拿出最后的一笔钱，在北平刘海胡同买下一处平房，与妹妹文珊一起隐居下来。[6] 

后来文珊改嫁，另安新家，独自居住的文绣开始向皇室后人——画家傅儒专心学习国画技艺，生活有了寄托也有了乐趣，绘画技艺也很有长进。不久，又有一些军官、小吏与富商、或个别官僚，以为皇妃乃是奇货难得，暗想家中必定有众多天价的文物古宝，便相继以求婚为名，登门讨便宜。文绣都以巧妙的言语或强硬态度拒之门外。[6] 

1937年“七七”事变之后，北平沦于日本铁蹄之下，文绣更加不得安宁了。倚仗日本人势力的警察、保长或狗腿子们，接二连三地登门向文绣敲诈勒索，甚至逼迫文绣为“大东亚圣战”贡纳重金。如此几年下来，文绣真正成为穷困的平民百姓了，不得不卖掉她在刘海胡同的宅院，另找地方租房住下来，以出卖体力劳动讨生活。先是在家里以糊纸盒挣钱度日，一度还去到瓦工队里当苦力工，因经不起重体力的劳累，最后在街头巷尾里，以叫卖香烟为生，饱尝了人世间的饥寒困苦。[7] 国民党统治北平。文绣经过友人的介绍，在华北日报社当上了报纸校对员。因工作认真尽职，外加才学出众，深得社长张明炜的器重。张社长非常同情文绣苦难的一生，出于关怀之情，亲自出面将文绣介绍给刘振东做妻子。

刘振东是河南人，生于穷苦人家，读过几年书，17岁时入国民党军队，因作战勇敢，由小兵一直升到了少校。他为人爽直，不惹事生非，40多岁仍未成家，当时在国民党军北平行营里负责管理中南海库房。文绣与刘振东经过半年的了解与相恋，于1947年夏季在北平结婚，并在北平西城白米斜街租房安了新家庭。婚后夫妻感情融洽，使文绣享受了完满的家庭生活。

1949年1月，北平和平解放，中国共产党领导下的人民政府接管了北平市。出于革命的需要，时过不久即发布通令原国民党遗留下来的军警宪特人员，都要进行登记。刘振东在文绣的劝导下，如实地登记并坦白交代了历史问题，人民政府决定不对刘振东追究刑事责任，不逮捕、不关押，只戴上历史反革命的帽子，交给群众监督管制。[8]