有曾孙房绛，生房晦、房勋。房晦生房凝，字玄俭，郢州刺史；房勋生房克让，房克让生房邺、房复。房邺字正封。孙子房沼后为监察御史。
房遗爱有四子，均失其名，但都居住在齐州一带。四子中的小弟有个儿子名叫房沼，中唐时期考中进士，后任监察御史。这一辈的其他人均无名。后来，房遗爱的长子一支有个曾孙名叫房绛，三世孙名房晦；房晦子名房凝，字玄俭，曾任郢州刺史。次子一支则有三世孙，房勋，房勋有子名房克让，房克让有子名房邺，字正封，身世不可第三子一支只有五世孙房复见于唐史，后失传。
高阳公主，唐太宗爱女。公主约贞观初年生人，《新唐书》称唐太宗第十七女，母不明。约贞观中期下嫁房玄龄次子房遗爱。房遗爱拜驸马都尉，官至太府卿、散骑常侍。
唐高宗永徽初年晋封高阳长公主，永徽四年因谋,反,罪赐自尽不得陪葬昭陵，诸子配流岭表。唐显庆年间追封合浦公主。高阳公主骄傲专横，曾与著名僧人辩机（玄奘高徒）私,通，事发后，辩机被腰斩而死，高阳公主失宠，一直心中不平（《新唐书》称，《旧唐书》未有提及）。
唐高宗即位以后，高阳公主、房遗爱便联络与高宗不和的薛万彻（妻为唐高祖第十五女丹阳公主）、柴令武（柴绍子，妻为太宗第七女巴陵公主），打算发动政变，废掉高宗，拥立荆王李元景（高祖第六子）为帝，但是事不机密，计划被泄露，一干人都被,逮,捕。高宗派长孙无忌审,理,此,案，长孙无忌借此机会将吴王李恪也牵连进来，李元景、李恪、房遗爱、高阳公主、薛万彻、柴令武、巴陵公主等全部被杀。
永徽四年，唐高宗李治的妹夫房遗爱谋,反,案,发,犯“十恶”罪。依《永徽律疏》的规定，对房遗爱应被,判,处,死,刑。
房玄龄见诸史料有三子一女：长子房遗直为嗣，妻杜氏未见有载，次子房遗爱尚高阳公主，第三子房遗则娶荆王李元景之女，女为韩王李元嘉（宇文昭仪出）王妃，传说名曰奉珠。但是根据近期发掘的房氏墓志发现房玄龄可能还有一子名房遗义妻吴氏，皇太子舍人、谷州刺史（唐故朝议郎行东海郡缘事参军房府君吴夫人墓志铭并序），还有一女嫁给当时莱州刺史兼莱州港造船使郑仁恺。（唐故密亳二州刺史赠安州都督郑公碑）。房家子女可谓个个攀龙附凤，地位显赫，故而家庭关系错综复杂易生事端。
《旧唐书.列传第十六》：……玄龄自以居端揆十五年，女为韩王妃，男遗爱尚高阳公主，实显贵之极，频表辞位，优诏不许。……即日授其子遗爱右卫中郎将，遗则中散大夫，使及当前，见其通显。……太宗见表，谓玄龄子妇高阳公主曰：“此人危惙如此，尚能忧我国家。”……次子遗爱，尚太宗女高阳公主，拜驸马都尉，官至太府卿、散骑常侍。初，主有宠于太宗，故遗爱特承恩遇，与诸主婿礼秩绝异。主既骄恣，谋黜遗直而夺其封爵，永徽中诬告遗直无礼于己。高宗令长孙无忌鞫其事，因得公主与遗爱谋,反之状。遗爱伏诛，公主赐自尽，诸子配流岭表。遗直以父功特宥之，除名为庶人。停玄龄配享。
《新唐书列传第八》：合浦公主，始封高阳。下嫁房玄龄子遗爱。主，帝所爱，故礼异它婿。主负所爱而骄。房遗直以嫡当拜银青光禄大夫，让弟遗爱，帝不许。玄龄卒，主导遗爱异赀，既而反谮之，遗直自言，帝痛让主，乃免。自是稍疏外，主怏怏。会御史劾盗，得浮屠辩机金宝神枕，自言主所赐。初，浮屠庐主之封地，会主与遗爱猎，见而悦之，具帐其庐，与之乱，更以二女子从遗爱，私饷亿计。至是，浮屠殊死，杀奴婢十余。主益望，帝崩无哀容。又浮屠智勖迎占祸福，惠弘能视鬼，道士李晃高医，皆私侍主。主使掖廷令陈玄运伺宫省禨祥，步星次。永徽中，与遗爱谋反，赐死。显庆时追赠。
《新唐书 列传第二十一》：次子遗爱，诞率无学，有武力。尚高阳公主，为右卫将军。公主，帝所爱，故礼与它婿绝。主骄蹇，疾遗直任嫡，遗直惧，让爵，帝不许。主稍失爱，意怏怏。与浮屠辩机乱，帝怒，斩浮屠，杀奴婢数十人，主怨望，帝崩，哭不哀。高宗时，出遗直汴州刺史，遗爱房州刺史。主又诬遗直罪，帝敕长孙无忌鞫治，乃得主与遗爱反状，遗爱伏诛，主赐死。遗直以先勋免，贬铜陵尉。诏停配享。
《新唐书 诸帝公主传》中的排行并不准确，如《汝南公主墓志》中，汝南公主为太宗第三女，而《新唐书 诸帝公主传》书中，公主则排第二位。
《全唐文 卷二十四》○封高阳公主制 用嘉成德，将及推恩，疏封锡号，礼典攸在。第二十女资身淑慎，禀训柔明。克备肃雍之仪，允彰图史之德。而方营鲁馆，宜启沁园，俾承宠于中闱，复增荣于列赋。仍食实封一千户。
《新唐书 卷八十三 列传第八》：永淳之前，亲王食实户八百，增至千辄止；公主不过三百，而主独加户五十。
《新唐书 卷八十三 列传第八》开元新制：长公主封户二千，帝妹户千，率以三丁为限；皇子王户二千，主半之。左右以为薄。帝曰：“百姓租赋非我有，士出万死，赏不过束帛，女何功而享多户邪？使知俭啬，不亦可乎？”于是，公主所禀殆不给车服。后咸宜以母爱益封至千户，诸主皆增，自是著于令。主不下嫁，亦封千户，有司给奴婢如令。
高阳公主素为唐太宗所钟爱，嫁与名臣房玄龄之子房遗爱，恃宠娇纵。婚后，高阳公主与和尚辩,机,私,通，唐太宗知晓后大怒，腰斩辩机，杀公主奴婢数十人，高阳公主非常怨恨。私,生,活,糜,烂，与僧人智勖、惠弘，道士李晃私通。唐太宗驾崩后，高阳公主怨恨太宗，“哭不哀”。
唐高宗永徽四年，高阳公主欲夺房遗爱兄长房遗直所继承的官爵，诬告房遗直对自己无礼，经长孙无忌审理，与其夫房遗爱意图拥立荆王李元景谋,反,事,泄，皇帝赐自尽。显庆年间追封合浦公主，是太平公主的姑姑。
《全唐文·卷二十四》记载了唐玄宗第二十女被封为高阳公主的一段册文。《新唐书 诸帝公主传》中玄宗并没有女儿曾被封为高阳公主。有人认为这可能是太宗女高阳公主的册文，被误放至玄宗之列。但据《新唐书》的记载，唐高宗永淳之前公主的食邑为三百户。唐玄宗时公主所获食邑曾从五百户增加到一千户。因此从食邑“一千户”判断，这位高阳公主应是唐玄宗的女儿。可能是《新唐书》漏记这位公主或某位公主曾经的封号。