凌家父子回来后，首先面对的就是大小吴氏。吴氏出自承恩公府。当初老郡王这桩婚事还是由先皇所赐。当年喝药差点而死的那个吴妃就是承恩公家的嫡次女。
吴贵妃进宫里后很得先皇宠爱。凌源志的母亲就是吴贵妃的妹妹。当时吴贵妃看到老郡王少年英雄，就请求先皇给自己的妹妹赐婚。
皇上一想也好，给郡王府定个国公府的小女儿也算是门当户对。况且吴贵妃如此美貌，她的小妹妹也错不了。于是皇上很不负责任地就把婚赐了。
当时郡王府并不想和皇室扯上关系。更不想和后宫的宫妃也扯上关系。可这婚已经赐了。没有办法，老郡王当时还是世子爷，就娶了吴氏为妻。
可是到成婚后，吴氏的性子也就慢慢地暴露出来，自私又不容人。其时吴氏在娘家时，由于是小女儿，又是嫡女，所以养得很是骄横，家里的庶姐庶妹，她众来都不看在眼里。
老郡王并不重女色，家里也就只有一个通房，是个陪自己长大的丫头巧云。在娶了吴氏后，被抬了姨娘。
可就这么一个姨娘，吴氏也不能容忍。当时，凌源志出生后，巧云的避子汤也就停了。后来巧云有孕，吴氏知道后一碗打胎药打掉了还未成型的胎儿。巧云小产后又加上伤心，一年后就病逝了。
老郡王对吴氏更加失望，没想到吴氏这么狠毒。连未出生的胎儿也不放过。但大儿子也只有两岁，吴氏当时又有了身孕。老郡王忍下了这气口。
。
老郡王在长子三岁时，就把儿子接到外院。等到儿子七岁时，太子找人做伴读，他唯恐自己将来要承爵的大儿子被吴氏教坏了，就把儿子送去宫里给太子做了伴读。而自己则请求去了边关。那时凌源辉也才四岁，一直跟着吴氏在郡王府长大。从此，老侯爷长驻边关，再也没回来。后来。老郡王在边关又纳了一房妾室 ，后来生下庶子凌源行，排行第三。凌源行一直养在边关，后来又在边关娶妻生子。
老吴氏赐婚前，在家里曾经和同族的一个表弟私下暧昧。吴贵妃是知道这事的。国公府的嫡小姐怎么也得嫁一个门第差不多的人家吧，就这样，吴妃越过父母直接请先皇赐了婚。
吴氏再不懂事，也知道皇上赐婚不可更改，就这样不情不愿地嫁了。可在她看到老郡王英武出众之后，和自己的表弟一对比，觉得老郡王的各个方面都是自己的表弟没法比得上的，觉得自己嫁了一个好丈夫，还是很欢喜的。可是这老郡王在自己生了两个儿子后就长驻边关，从此再也没回来。吴氏也知道丈夫这是怨上了自己。可是巧云不就是一个妾吗，自己是当家主母，难道连惩罚一个妾的权力都没有吗，这吴氏自此也怨上了丈夫。其时老郡王只是觉得自己的妻子太狠毒，连一个没出生的孩子都不放过。每次对着老吴氏，老郡王都会觉得这是一个毒妇。最后终于不愿再面对自己的妻子，而选择了长驻边关。
这时吴氏又想起了和表弟以前的情分了，表弟家只是小吏，她就想拉扯一下自己的表弟。就生出了把表弟的女儿嫁给自己当儿媳的想法。老太太真是天真啊。凌家父子怎么能同意。外甥女没当成自己的儿媳。她又琢磨小表侄女给自己儿子做继室。儿子不同意，不得已让小吴氏做了贵妾。
老太太真是锲而不舍啊。 其时老太太这样做，也还有另外一个原因，那就是对于凌家父子，哪个她也控制不了。要是找个娘家人做儿媳，那就能把儿子掌握在自己手里了，还能全了和表弟以前的情分。
可是凌源辉从小就和自己的母亲不亲，他也知道自己的父亲为什么一去边关就再也不回来。不是父亲不想自己，而是父亲不想面对自己的母亲。而且自己的母亲做的事情他也看在眼里，那根本就上不了台面。