1385年末，海德堡大学初由大公鲁普莱希特一世(Ruprecht I)依教皇伍朋六世特许筹建，以为分裂的普法尔茨营造一思想中心，第一任校长是英格恩的马西利乌斯(Marsilius of Inghen)他是海德堡大学的创始人之一，他担任了不下9次校长。在1386-1392年和1396年期间吸纳外邦人才，服务于教会及国家。而早期的教授均来自宗教分裂与民族战争频仍地区，寻求平和于海德堡。14世纪彼得教堂成为大学教堂。历任大公均对大学倾注心力，然当其虑及必要时，亦得随意插手大学自主自治之事务。由此也为诸如人文主义等思潮的到来创造了历史条件。

尽管马丁·路德于1518年倡导宗教改革，海德堡大学长时间均未受此影响。直到1556年时才由奥腾里希(Ottheinrich)大公将其转变为一个新教大学。16世纪后半叶由弗里德里希三世(Friedrich III)将海德堡大学建成了具有加尔文主义精神的欧洲科学与文化中心。其加尔文主义理念的光芒吸引了全欧众多教授与学者纷涌而至。在神学院的影响下，1563年出现了著名的海德堡教理问答录。除加尔文主义外，16世纪末出现了后人文主义。

这一黄金时期延续至1618年。三十年战争使海德堡大学受到重创，教学几经中断。1622年举世闻名的帕勒提那图书馆移往罗马。战后大学重建工作又因1693年路易十四(Ludwigs XIV. 法语 Louis XIV.)的军队对海德堡的全面毁坏而陷于停滞。海德堡大学因此又关闭多年。

18世纪的海德堡正如几乎所有其它大学那样弥漫着知识上的中庸主义。一直延续的新教主义色彩因迟来的改革而逐渐丧失。财政上的困境与18世纪末不断的革命战争使海德堡大学再次陷入困境。

1802年海德堡划入巴登州，翻开了大学历史新的一页。海德堡大学重新组织后，成为国家财政支撑的教研机构。巴登州第一位大公卡尔·弗里德里希的名字被写入大学基金会的名单，从此，大学的全称成了"鲁普莱希特-卡尔斯-海德堡大学"。 大学受到新人文主义的影响，同时许多教授和学者也是浪漫主义思潮的追随者。哲学家黑格尔曾于海德堡执教两年;施罗塞尔建立了政治史科学的海德堡学派;医学家马克西米利安·约瑟夫·冯·切利乌斯更令全欧的患者慕名而至。海德堡的教授们屹立于自由主义的最前沿，许多人还是1848年法兰克福国民大会的议员。1848革命后，路德维希·霍伊塞尔(Ludwig Häusser)成为自由民族国家主义在德国西南部的代言人。海德堡大学的自然科学在罗伯特·本森,古斯塔夫·基希霍夫及赫曼·冯·赫姆霍茨等人的共同努力下闪耀着眩目光辉的19世纪，同时也是海德堡以法学闻名于世的时代。1886年海德堡大学度过了500年校庆。

在此期间，海德堡大学成为向世界开放的自由主义大学。这不仅表现在其外国学生的数量上，而且还表现在自20世纪初以来的所谓海德堡精神上:即由马克思·韦伯及其挚友、神学家恩斯特·特罗尔切连同其他一批年轻学者所倡导的跨学科的对话精神。

魏玛共和国时期的海德堡大学在大批知名学者如卡尔·亚斯波斯(Karl Jaspers)、古斯塔夫·拉德布鲁赫(Gustav Radbruch)、阿尔弗雷德·韦伯(Alfred Weber)等人的影响下成为了德国民主精神的桥头堡。来自美国的捐助帮助海德堡大学建立了新的大学园区，大学获得了新的精神:弗里德里希·共多夫称之为献身于鲜活的时代精神。不过这同样留下了一个阴影:它导致学生运动如此偏激，以至温和主义者埃米尔·共伯尔(Emil Gumbel)离开了海德堡大学。海德堡在这一时期的学术形象是由哲学系和法学系来代表的。不过鲁道夫·冯·科雷尔(Ludolf von Krehl)也以其全面医学的理念开创了新的道路。物理学家菲力普·雷纳德(Philipp Lenard)作为国家社会主义的支持者也在此影响了多年。

第三帝国的建立导致海德堡大学因政治和种族原因驱逐了一大批教师和学生。许多人流亡于外，两名教授成为了恐怖主义的直接牺牲品。大学本身的许多人都参与了在大学广场上发生的1933年德国焚书运动。受到政权追随者的影响，海德堡大学的"献身于鲜活的时代精神"不幸变成了"德意志精神"。许多人包括一些教授也加入了这一口号的追随者的行列。

二战结束时，大学已遭到极大的破坏，亟须注入新的精神理念。在卡尔·亚斯波斯(Karl Jaspers)的带领下，海德堡大学制定了新的章程，规定大学有义务"服务于真理、公平及人文主义的活的精神"。重建后的大学校园布局是:自然科学与部分医学科系位于Neuenheimer Feld的新校区，而人文社会科学院系则仍然保有位于老城的校园。 这些改革改变了迄今为止的大学结构。大学自成立以来一直由四大院系(神学、法学、哲学、医学)组成，直至1890年增加了自然科学作为第五个科系。而1969年大学划分为16个院系。学生数量也持续增加。在1986年(600年校庆时)海德堡大学有27000名在册大学生。大学生群体是海德堡这个小城令人瞩目的一族。 海德堡拥有众多外国人口的传统也在战后得以保持。尽管人数众多，海德堡大学一直将教学与研究的统一视为己任。

德国的学潮影响在海德堡来得颇晚。运动先是围绕公车票价及大学生参与学校管理。同时海德堡一直明确抵制越战。在许多会议上还讨论了关于政治代表的问题，即学生参与一般政治活动权利的问题。部分教授及州政府、基督教民主联盟党的学生组织都大力反对这种权利，而社会主义德国学生联盟及大部分学生团体则支持这一权利。紧急状态法与学生权利在许多辩论中成为交织在一起的话题。

过去十几年，海德堡大学通过一系列科研方面的校际交流合作，在医学、神经生命科学、物理学、数学与信息学、法学与大众经济学等学科取得了良好的声誉。作为第一所德国大学，海德堡大学在海外如埃及、智利与美国马萨诸塞等地建立了分校，以拓展学校的知名度。

海德堡大学的构成是:自然科学、体育科学及大部分医学科系均坐落在Neuenheimer Feld的新校区，而人文社会科学的院系如法学院及校长办公室和大学管理楼则位于海德堡的老城区。大学的其它一些机构散落在海德堡的市区及周边地区。

2019年8月8日，德国海德堡大学医学院和医院受到一起学术丑闻影响，包括医学院院长、医院首席执行官在内的多名高层人员辞职。