1959年，蒋介石下令解除对张学良的“管束”。1961年9月，在蒋经国的过问下，张学良出钱在台北附近盖的一栋房子完工了，这栋房子是两层小楼，位于北投复兴岗70号。
新居落成时，蒋经国送了一套客房用的家具。张学良也买了一辆二手的福特轿车。这时，他可以自由进城去访问老友莫德惠、张群以及立法委员王新衡等人了。张学良在台北有许多亲属，如张作霖五姨太寿夫人及六姨太马夫人，以及他们的子女张学森、张怀敏等人。
1962年，美国白雪溜冰团第二次来台公演。有一天，蒋经国派人去买票，在座位表上选了连号四张，又在这四个座号的前后左右买了“插花式”不相连的门票七八张。晚上，蒋经国同三位贵宾同来观看表演，当时，在场的人都不认识和蒋经国一起来的人是什么人。但泄露秘密的，竟是负责保密的安全人员？
其中一个头目对场内的负责人说：“今天是蒋经国陪张学良夫妇看表演，要求场地负责人要留意一些，第一不能随意告诉人，第二更不可让新闻记者知道，第三如果背闪光灯照相的记者走进这一区域，应立即知会安全人员。”因此，在场的场务主任、票务主任才知道和蒋经国一起来的，就是张学良和赵四小姐，而且同时也因此知道今天所买四张连号票以外，又买了“插花式”不相连号门票的，是供安全人员坐的。
过了两三天后，原来的安全人员又来买票，并和前一次一样。由于他们已和场地人员相熟，便坦率地说张学良还想再看一次，蒋经国只好再陪一次。蒋经国当时的工作十分繁忙，在短短两三天内，能够抽空连续陪张学良两次去观赏白雪溜冰团表演，可看出蒋经国和张学良的关系之好。否则，蒋经国陪张学良已经看过一次溜冰表演，即使张学良想去再看，由其他人员陪同也符合常理，用不着亲自出马。
不过张学良是一个有分寸的人，当蒋经国出任“行政院长”以后，张学良深知蒋经国地位有了很大的变化，很难有空，就坚决让蒋经国以工作为重，而减少彼此间的往来。同时张学良还表示，蒋经国如不接受此项意见，他将考虑拒绝蒋经国过分频繁的邀请。在张学良的坚持下，两人的来往减少了。
由于张学良和于凤至没有离婚，张学良一直没有和赵四小姐正式结婚。张学良14岁时奉父亲之命与比他大三岁的于凤至结婚。大约1926年前后，在天津认识了在北洋政府做官的赵庆华的四女儿赵绮露（又名赵一荻），两人产生爱情，并于1928年秋天，在沈阳北陵同居。因张学良同于凤至已结婚多年，并且生有子女，为了家庭和睦，张学良提出没有夫人名义，对外国人称赵一荻为自己的秘书，对中国人则称侍从小姐，于是赵绮露便有了“秘书a”和“赵四小姐”之称呼。
当时的张学良对明史的研究已成过去，他对基督教发生了兴趣。他常做礼拜，对基督教的信仰极笃诚。他和赵四小姐每餐前必做虔敬的祷告。张学良信奉基督教后，曾自省地述及他的少年时代的不合理生活。他回忆讲武堂毕业后，年仅二十岁就了当团长，其实所学所知，最多是一方面的，怎能应付复杂的问题呢？因此，张学良称他自信奉基督教后，有了更多的自知和自忏。
信奉基督教后，因教会不允许基督徒有两位妻子，张学良必须在于凤至和赵四小姐之间做选择。到1964年，经过亲友的疏解，在美国的于凤至，也被赵四小姐的坚贞爱情所感动，应允离婚，结束了她和张学良的婚姻关系。同年7月4日，64岁的张学良和53岁的赵四小姐，经过30多年的相爱，过了20多年与世隔绝、相依为命的生活，在一次简单而庄重的仪式中，正式结为合法夫妇。婚礼是在台北一位美国朋友家里举行，由陈维屏牧师证婚，宋美龄是少数观礼的贵宾之一。
虽然蒋介石在1959年下令解除对张学良的“管束”，尽管名义上张学良重获自由，实际上仍处于被监视之中，而且对张学良的消息一直严密封锁。由于自70年代以来，“西安事变”与张学良渐渐引起历史学者注意和研究。因此，1979年中秋节，张学良出席蒋经国的赏月晚会才陆续被报道出来。
张学良爱好书画，早在1931年，在北平任陆海空军副司令的张学良，曾专门拜访张大千，并且交上了朋友。1935年，张大千画了一幅《黄山九龙潭》送给张学良。1961年以后，已被解除了管束的张学良在台北遇见了从美国回台探亲的张大千，分别几十年，两位老朋友见面自有一番感慨。
张大千返美前，张学良将他两人30多年前在北平暗中争购的一幅新罗山人的《红梅图》，送给了张大千。张大千由美国回台定居，住在台北外双溪摩耶精舍，两人相见的次数日益增多。后来，在张大千的提议下，张学良、张群、王新衡，每月在摩耶精舍聚会一次。人称“三张一王团团会”
1983年4月2日，张大千在台北去世。张群任治丧委员会主任，张学良任治丧委员会委员，对老朋友的逝世，张学良十分悲痛。10月2日“团团会”恢复每月聚聚餐。餐后，走访张大千先生纪念馆，并在张大千长眠之地前默祷数分钟。
到了80年代，张学良每日生活固定而简单，如果褪去历史的光环，他和赵四小姐其实就是一对普通的老夫妻。