北海的建设源于一个古老的神话：据说，浩翰的东海上有三座仙山，叫做蓬莱、瀛洲、方丈；山上住着长生不死的神仙。秦始皇统一中国后，派方士徐福前往东海寻找不死药，可一无所获。到了汉朝，汉武帝也做起了长生不死之梦，可寻找仍然没有结果，于是下令在长安北面挖了一个大水池，名“太液池”，池中堆起三座假山，分别以蓬莱、濒洲、方丈三仙山命名。自此以后，历代皇帝都喜欢仿效"一池三山"的形式来建造皇家宫苑。北海采取的正是这种形式--北海象征"太液池"，"琼华岛"是蓬莱，原在水中的"团城"和"犀山台"则象征瀛洲和方丈。园中有"吕公洞"、"仙人庵"、"铜仙承露盘"等许多求仙的遗迹。

　　最早的北海只是一处普通的水域，水中有岛名"瑶屿"。金代开始挖湖堆山，扩大瑶屿，改称"琼华岛"，岛上建"瑶光殿"、"广寒殿"，又从汴梁(今开封)移来艮岳花石堆叠假山，北海便初具规模。元代继续扩建琼华岛，改称"万岁山"、"万寿山"、’渎山"，并以此为中心建造大都城，所以有"先有北海后有北京"的说法。明代，北海成了皇宫的后花园，称西苑，始掘南海，堆土东岸，将团城和犀山台与陆地联接起来，并建"金鳌玉栋桥"。清代，在广寒殿遗址上建塔立寺，称"白塔寺"，后改称"永安寺"，称琼华岛为白塔山。乾隆时期对北海又进行了大规模的建设，连续施工30年。光绪时代，慈禧挪用海军军费重修北海，供其享乐。

　　辛亥革命后的1925年8月，北海被辟为公园向游人开放，但因管理不善逐渐荒芜，到中华人民共和国成立前夕已成为一处杂草丛生、污泥淤积的荒园了。中华人民共和国成立后，北海公园被列为国家重点文物保护单位，并疏浚三海、修整建筑、增加设施，使北海更加绚丽多姿，成为人民休息游览的胜地。1987年，北海被评为北京新十六景之一。