中国银行于1912年1月24日由孙中山总统下令批准成立。1912年2月5日正式开业。其由1905年清政府成立的户部银行(1908年起改称大清银行(Ta Ching Goverment Bank)，负责整顿币制、发行货币、整理国库，行使中央银行权利)改组而来。故中国银行为中国历史最悠久的银行之一。

民国政府时期
　　中国银行自民国时期早年成立后一直担负中央银行职责直至1928年，此时国民政府另外设立中央银行，并修订中国银行条例和章程，“经国民政府之特许为国际汇兑银行”。当时总行亦从北京(时称为北平)迁往上海办公。
　　此时的中国银行是官商合办的股份制银行。早期的中国银行在限制北洋军政府开支，抵制袁世凯停兑令，支持民族经济发展，组织爱国华侨支援国内抗战等方面作了很多工作。
　　1935年4月间，国民政府再次修订中国银行条例，导致中国银行的实际控制权事实落入四大家族中，成了官僚资本主义聚敛财富的工具。
　　1949年中国人民解放军军事管制委员会接管中国银行。原总管理处随民国政府迁往台湾，至1960年在台重新开业。在台机构部门于1971年改名为中国国际商业银行(International Commercial Bank of China)，2006年8月间和台湾交通银行(Chiao Tung Bank)合并为兆丰国际商业银行(Mega International Commercial Bank)。留置大陆地区的各分支机构部门收归国有，继续以中国银行行名营业存续。

新中国社会主义建设时期
　　1950年4月，中国银行总管理处划归中国人民银行总行领导。
　　1953年10月27日，中央人民政府政务院颁布《中国银行条例》，明确中国银行为中华人民共和国中央人民政府政务院特许的外汇专业银行。
　　在社会主义革命和建设时期，中国银行作为中国人民银行领导的一个职能部门，利用信贷、结算、汇率等多种手段促进对外贸易事业发展，使国家外汇收入不断增加；积极参加反对美国政府冻结美元资产的斗争，抵制美国政府对中国实行的经济封锁；支持交通部门逐步建立远洋船队，支持企业通过进口设备合远材料来增加产量和质量；认真履行国家外汇专业银行的职责，加强外汇管理发展与国际金融界的交往。

改革开放时期
　　改革开放以来，中国银行的各项业务得到了长足发展，跨入了世界大型银行的前列。
　　1979年3月13日经国务院批准，中国银行从中国人民银行中分设出来，同时行使国家外汇管理总局职能，直属国务院领导。中国银行与国家外汇管理局对外两块牌子，内部一套机构，由中国人民银行代管。中国银行总管理处改为中国银行总行，负责统一经营和集中管理全国外汇业务。
　　1983年9月，国务院决定中国人民银行专门行使中央银行职能，随后中国银行与国家外汇管理总局分设，各行其职，中国银行统一经营国家外汇的职责不变。至此，中国银行成为中国人民银行监管之下的国家外汇外贸专业银行。中国银行的身份发生根本性变化，由原中国人民银行一个分支部门、国家金融管理机关，转为以盈利为目标的企业。
　　1994年外汇管理体制改革，国家外汇由外汇管理局经营，中国银行由外汇外贸专业银行开始向国有商业银行转化。各外汇业务银行在外汇业务经营方面享有平等地位，中国银行正式结束了国家外汇专业管理，不再在外汇业务享有垄断地位。中国银行做为国有独资商业银行，与其它三家国有独资商业银行(中国工商银行、中国农业银行和中国建设银行)一道成为国家金融业的支柱。