1949年9月，随着国军退却与解放军节节胜利，未受中共高层喜欢的原清华哲学系主任冯友兰知趣地提出辞职。根据吴晗等人的意见，由与中共交情尚好的金岳霖继任清华哲学系主任。几个月后，老金官运亨通，又被任命为清华文学院长兼校务委员会委员，并有幸参加了《毛选》一卷的英文版翻译定稿工作。
1952年院系调整，全国六所大学（即北京大学、清华大学、燕京大学、南京大学、武汉大学、中山大学）的哲学系合并为北京大学哲学系，老金调任北大哲学系主任。1953年3月5日，声震寰宇的斯大林撒手归天，毛泽东前往苏联驻中国大使馆吊唁。3月9日，毛发表了《最伟大的友谊》一文，以此悼念斯大林。老金觉得无产阶级最重要的领袖去世了，思想上“开始有保卫党的要求”。是年，在朱伯昆、任继愈根据上面指示具体操作下，老金加入了中国民主同盟，后曾任民盟中央常委等要职。
据老金说：“解放初，张奚若忙得不可开交，梁林参加国徽设计工作也忙得不亦乐乎。我好像是局外人。有一次在怀仁堂见到毛主席，他对我说：‘你搞的那一套还是有用的’，这我可放心了，我也就跟着大伙前进了。”
老金的心一放下，不是跟着“大伙前进”，而是后来者居上，冲锋在前，健步如飞，很快超越了梁思成、林徽因等“大伙”，达到了同行们仰慕的高度和深度。
据当时北大哲学系学生羊涤生等人回忆：那时的老金已年近花甲，视力衰退，精力大不如前。但“在这段时期里，金老担负繁重的行政、教学科研工作，又要孜孜不倦学习马列主义，还要以他切身经历教育同学，和与同事促膝谈心，互相帮助，共同进步。金老不服年老，始终保持着高昂的革命激情。因为金老已下定决心，终身献给党的教育事业。金老的一次发言是我们永远难忘的，他紧捏着拳头，捶着桌子，铿锵有力地说：‘我决心在党和毛主席的领导下，做一个真正的人民教师！’语言刚劲有力，激情奔放，它打动了在座的师生，大家含着热泪迎上去表示欢迎，这时金老早已热泪盈眶。”
1955年春，老金奉调到中国科学院哲学研究所筹备会，9月被任命为中国科学院哲学研究所副所长兼逻辑研究组组长。老金晚年在回忆从清华到哲学所这段生活时曾说：“解放后调整到北大。周培源先生说要我做北大的哲学系主任。我说我不干，还说艾思奇摆在那里，不去找他，反而来找我。周培源说：‘要你做，你就得做。’我就做起系主任来了。不久就有人当面大骂我一顿。这样的事，在旧社会不是开除他，就是我辞职。在新社会怎么办呢？不知道。结果他不走，我也不辞。事也办不了，更谈不上办好办坏。”又说：“到了哲学所，另一副所长张镛说我应该坐办公室办公。我不知‘公’是如何办的，可是办公室我总可以坐。我恭而敬之地坐在办公室，坐了整个上午，而‘公’不来，根本没有人找我。我只是浪费了一个早晨而已。这以后没有多久，哲学所的同志作出决议。解除我的行政职务，封我为一级研究员。显然，他们也发现我不能办事。如果我是一个知识分子的话，我这个知识分子确实不能办事。”
据查，老金所说的解除职务一事是他的糊涂或者误会，当时的哲学所没有，也无权解除老金的行政职务，只是决定老金不必每天到所坐办公室办“公”了。
据可考的资料显示，老金申请加入中国共产党的具体日期是1956年9月29日，他在志愿书上写道：“中华人民共和国成立后，人民确实站起来了。……在这样一个人口众多的大国里，我认为我们非有相当多的人无条件地服从党的领导、接受党的任务不可。我要求把自己投入到这个伟大的革命建设潮流中，因此，我申请入党。”同时，老金还写道，有几本马列的书对自己影响很大，如《实践论》、《唯物论与经验批判论》、斯大林的《辩证唯物主义和历史唯物主义》、《马克思主义和语言学问题》等等。
鉴于老金的思想境界已臻化境，12月11日，中国科学院党委批准其为中共预备党员。从此，老金“从民主、爱国主义，转变为共产主义，终于成为共产主义先锋战士”。
由一名自由知识分子一夜间变成“战士”的老金，深知自己脑海里还残存着当时仍在中山大学任教的陈寅恪所坚守不移的那种不合时宜的“独立之精神，自由之思想”，于是，下定决心要洗心革面重新做人，主动放弃青壮年时代立志研究的逻辑哲学，开始“如饥似渴地学习马列主义、毛泽东思想，认真解剖自己，以提高思想觉悟”，并与“旧的自己”和自己搞的那一套哲学体系毫无保留地、彻底地决裂。同时公开表示：“学好马列主义、毛泽东思想，一年不行，用二年；二年不行用五年；五年不行用十年；十年不行用二十年！”
誓要做一个党指向哪里就打到哪里，刀山火海也敢闯的无产阶级先锋战士。
1956年除夕，毛泽东请金岳霖、章士钊等几位儒生兼同乡吃饭。席间，毛对老金道：“数理逻辑还是有用的，还要搞。希望你写个通俗小册子，我还要看”。据老金后来撰文回忆说，自这一次开始，至“文革”爆发前的十年间，毛主席一共请他吃过4次饭，还知道他是湖南人，并专门用筷子夹给他几个炒得黑红、个头较小的尖辣椒品尝。对于这4次吃饭，老金终生念念不忘，即使到了晚年思维颓衰得过去的事都已忘却，对此事却牢记心怀。每向人言及，总是神情无比得意和自豪——或许，这是老金一生中最感荣耀的事情之一吧。
和毛主席一起吃过饭的老金，立志改造思想与世界观的决心虽大，但又总摆脱不了自由知识分子的名士气与头脑中固有的思想、生活观念。新式的马列主义、毛泽东思想学了好长时间也没有学好。在中央实行的思想改造运动之时，老金曾诚惶诚恐地检讨说：“在日本占领北京之前，我有一次碰见钱稻孙，他那时是清华的图书馆长。我表示非抗日不可。他说万万抗不得，抗，不只是亡国，还要灭种。我很想打他，可是受了‘不能打’这一教训的影响，没有打。”老金检讨毕，满以为自己在民族立场上是站得住脚的，结果遭到听众一顿劈头盖脸的反驳和指责，大意是：“蒋介石让美国船在长江自由航行，你一句反对话都没有说”等等。老金的“洗澡”算是白洗，仍然灰头土脸，不能挤入纯洁的无产阶级队伍中来。几十年后，金岳霖在回忆往事的时候还说：“我不得不承认在这一点上，我确实丧失了民族立场。群众的眼睛是雪亮的。”
晚年的老金曾对人说，他在1949年以前共写过三本著作，“比较满意的是《论道》”。这本书是他一生中最看重的一部。可当政治风潮来临的时候，老金再也不敢说“满意”，而要视之为狗屎堆了。1958年2月，老金写了一篇2万多字的文章，按照马列主义观点，对自己一世英名之作《论道》进行严厉的批判，可能批判得还不够火候，此文迟迟未得发表。老金一看文章不能发表，索性一不做二不休，来个破釜沉舟，直接向他的上级党委写起检讨书，以示痛心疾首与洗心革面的决心。老金说：自己头脑的资产阶级思想阻碍了逻辑组对辩证逻辑的学习和研究，“我口头上赞成学习辩证逻辑，可是骨子里是另外一件事。”关于辩证法或辩证逻辑和形式逻辑的关系问题，就好些旧逻辑学家说，仍然“茫然”。辩证法“好像懂得一些”，辩证逻辑他们“大都不懂”，既然如此，二者的关系“就很难讨论”云云。
1959年5月，金岳霖在这年的《哲学研究》第5期，发表《对旧著（逻辑）一书的自我批判》，再次对自己过去的哲学观进行严厉的批判。年底，哲学研究所根据上级部署开展“反右倾运动”，老金即刻写了一篇长文《自我检查》，除了对自己原来的哲学观进行批判，还对现实中加入中共之事有些神经质地提出疑问和交待，说自己入党动机不纯，“很可能用自欺的方式来欺人。”老金冷不丁地抛出的这个检讨，搞得各级党组织颇为惊恐与糊涂，以为他背后有什么来头，或在思想深处潜伏着什么不可告人的目的，只得对其言行更加提心吊胆地注意，并对其加大考察力度。好在老金只是和尚念经一样，按照经卷的意思隔三差五地对自己批判一次，没有做什么出格的事和发表与时代相背的言论，这样到了1960年9月29日，即新中国成立11周年纪念日前夕，中科院党组织讨论决定，将老金预备党员中的“预备”二字拿掉，正式批准为中共党员。
老金成为中共正式党员的事传到毛泽东耳中。年底，毛泽东请老金到家中吃饭，在座的客人有章士钊和程潜，均为湖南人。老金去的最晚，一进门，毛向章、程介绍说：“这是中共党员金岳霖。”一句话说得老金心潮澎湃，感动得热泪盈眶。席间，毛对金说：“你的检讨（南按：一年半前老金发表的《对旧著（逻辑）一书的自我批判》一文）我看了。在新的情况下，对旧的东西就有点讨厌了。不过……”毛没有说下去，其他人也没有追问。后来老金回忆说：“毛主席说‘不过’什么，当时我没有理解，如果理解了就可以警惕，以后就不会混淆形式逻辑和辩证法的错误了。”正是老金对这句话没有深刻理解，或者说不能理解，才导致思想观念越来越“落后”。对此，晚年的老金深居简出，不再“捏着拳头”“热泪盈眶”地热衷于政治风潮了。此事被毛主席闻知，在最后一次一起吃饭中，毛在席间有些不满地掷给老金一句话：“你要接触接触社会！”此时已七十多岁高龄的老金听罢此言，当场信誓旦旦地表示要按主席的指示办，想方设法“接触社会”。
晕晕乎乎地回到家中，老金连续三天“停杯投箸不能食，拔剑四顾心茫然”。在寂静的夜里，“只要灯一灭，纸糊的顶棚上就好像万马奔腾起来，小耗子就开始它们的运动会了”（金岳霖语）。老金一边听着小耗子们吱吱叫唤着开运动会，一边想着如何接触社会的问题，辗转反侧不能入睡。按照自己一生所学的强项——大逻辑、小逻辑及其他各种不同逻辑的推理论证，苦熬了三天之后，终于谋划出了一个“接触社会”的对应方略。
这一天早晨，老金神情亢奋地走出家门，在胡同口找到一个约六十岁、腿有点蹩，平时很难揽到生意的老三轮车夫，相约每天上午由三轮车夫拉老金到王府井大街转一圈儿。于是，蹩足车夫按时登车来到老金的家门，老金则梳洗打扮，拄着拐杖走出来，颤颤悠悠地爬上平板三轮车。蹩足车夫有了固定工作和薪水，自是高兴得不得了，拿出几十年练就的绝招，在车水马龙的路上紧蹬快踏，左躲右闪，飞一样地前行。车上的老金一手按拐杖，一手死死抓住车夫屁股底下那个坐凳，以免中途被甩将下来，像烧地瓜一样被众车轮辗得粉身碎骨。当一路颠簸但有惊无险地来到人群拥塞的王府井大街后，三轮车夹在人流中，像一只并不灵便的蛤蟆于稻田中游走穿行，躲闪腾跳，老金则坐在车上，东张西望，认真观察并“接触社会”。如此这般风雨无阻的两年下来，终于被好事者发现并传到毛主席的耳中，毛闻知后哈哈大笑，说：“我那不过是随便一说，他竟放到了心上，我这个搞逻辑学的同乡确实有一套不同于常人的逻辑呵。”
老金辗转探知这一评语后，认为毛主席对自己的行为，尽管没有太放在心上，但总体上是认可的，憋压在心中的苦闷有点消散，于是抖起精神，欲好好地展示一下“烈士暮年，壮心不己”的豪气风采。可惜天不遂人愿，有一天老金被一块顽石跘了一脚，此后再也爬不上那辆平板三轮车了。
1974年春，已是80岁高龄的老金身体状况大不如前。梁思成、林徽因夫妇的儿子梁从诫感念老金与梁家几代人的真挚友谊，携家搬到老金在东城干面胡同的处所共同吃住。自此，老金又重新回到了当年“太太客厅”时代，只是客厅的主人不是自己的挚友梁、林夫妇，而是年轻的小字辈了。在这个充满着友情挚爱的温馨家庭里，梁从诫一家一直视老金为亲生父辈，并呼曰“金爸”，而老金也视梁从诫为亲生儿子，无论生活中的大事小事都与梁从诫相商，特别对自己弄不清、道不明的“社会”中事，他总是以梁从诫所说为然。
1980年11月，老金因肺炎住院，出院后他已不会走路了，只能长期卧床疗养。有一次，哲学所的领导们看望老金，寒暄过后，拐弯抹角、小心谨慎地提到了老人书籍之事，暗含的意思是希望其捐给哲学所。并不糊涂的老金一听就明白，但他却明确表示，自己的藏书是几十年积攒的结果，其中有些书的搜购，有梁思成与林徽因的情感和功劳，因而，当自己百年之后，所藏书籍要留给梁从诫，以寄托对梁、林二人的缅怀之情。
1982年，老金觉得死神已在家门守候，将魂归道山，于3月7日特别给社科院哲学研究所党组织写信，谓：“我可能很快结束。我要借此机会感谢党、感谢毛泽东同志、感谢全国劳动人民把中国救了。瓜分问题完全解决了。四个现代化问题也一定会解决。”又说：“我死之后，请在我的存款中提出叁仟元献给党。请勿开追悼会，骨灰请让清风吹走。”1984年10月19日下午3点35分，老金因双侧肺炎、肺气肿、冠心病等病症医治无效，在北京305医院逝世，终年89岁。
10月20日，中央人民广播电台播发了消息，称：“著名哲学家、逻辑学家、中国人民政治协商会议全国委员会委员、中国科学院前哲学社会科学部委员、中国社会科学院哲学所副所长、中国共产党优秀党员金岳霖……毕生致力于我国哲学、逻辑学的研究和教学工作，对我国逻辑学的建设和发展，对我国哲学研究和教育事业都做出了重大的贡献，在国内外学术界享有很高声誉。”
泰山其颓，梁木其坏，哲人其萎，二十世纪灿烂的学术星河中最后一颗巨星就此陨落，喧嚣的世间一座学术大山于烟岚雾海中无声地隐入历史深处，一个时代结束了。