1864年，汇丰银行在香港成立，是由在华的英商太古、沙逊、怡和、美商旗昌、德商禅臣等英、美、法、德十大洋行共同发起组织，其中也有中国人入股。后来由于利益冲突，其他股东全部退出，所有股份归英商所有。
到了1865年的4月，上海分行在沪建立。上海分行成立初在今南京路外滩，即今汇中饭店旧址，是一座规模较小的英式3层小楼。
1874年因业务量渐大，楼房不够用，购买了海关南面西人俱乐部的房子和大草坪，造了一座3层楼房，即在今天的福州路外滩。开业次年伦敦就爆发了一场金融风暴，其他在上海的英资银行都受到了不同程度的打击，但汇丰避开了这场风暴，以后的业务一直顺利地发展，资本像滚雪球似地越滚越大。汇丰当时在世界各地建立了许许多多的分支机构，但都是围绕着在中国猎取最大的经济利益。在它的存款、放款、投资、国际汇兑等业务中，上海分行都居于举足轻重的地位。据汇丰行史：“英国的利益主要在长江流域，上海是这个流域的物产集中的口岸……汇丰的总行虽在香港，但一般说来上海分行承做的生意要多些。”上海分行是汇丰在大陆的管辖行，统辖所有在大陆的分支机构，是调度资金的枢纽。
1921年它又在外滩兴建如今这座高7层，占地14亩的大楼，英国人自夸是“从苏伊士运河到远东白令海峡最华贵的建筑”，1923年建成，位置在今黄浦区外滩中山东一路10～12号，可见它的资金之雄厚。在当时的上海金融市场上，汇丰有巨大的操纵力，它的金库中存有庞大数量的黄金和白银。正由于汇丰在上海外汇市场中占有重要的地位，它取得了外汇市场挂牌银行的资格。
1935年前汇丰每一营业日上午9点半挂出外汇牌价，就迅速传遍了全中国，成为黄金买卖价格和一些进出口货物行市的依据。上海较大的英商企业，包括怡和、太古、沙逊三大集团，颐中、亚细亚、卜内门、中国肥皂四大托拉斯都与汇丰有密切的信贷关系。汇丰还是中国政府偿还外债和赔款的主要经受银行。清政府向英、德、法、俄借的外债和民国初年五国银行团的善后大借款以及辛丑赔款，每年由各地汇入汇丰等五家银行收存转拨。汇丰还从1916年起取得代总税务司收存保管中国内债的权利。总税务司是中国海关的行政主官，1853年起至1949年新中国成立前，中国关权除日本侵华时期外，为英、美、法三国把持，总税务司一直由英国人担任，标明中国当时的国家财政部分为外人掌握。中国政府要想动支抵债后的关税、盐税的余额需要经外国银行团的同意。这样，积存在汇丰的税金余额成为该行可调动的一笔巨大的资金。
1932年汇丰的存款余额高达9.3亿港元，接近中国各行存款总数的半数，其实力可想而知。
1937年起，日本发动全面的侵华战争，占领沿海口岸后，把汇丰收存的关税改存在日本设在上海的横滨正金银行。二战中汇丰的业务一落千丈。
1941年底太平洋战争爆发后，日军侵占上海租界，汇丰被日本强行接管。抗战胜利后复业，此时在世界力量的格局中，美国已超过英国，在华美商银行势力膨胀，汇丰这座曾辉煌一时的金融帝国只剩下落日的余辉了。新中国成立后到改革开放前，汇丰银行是仅剩的两家在上海的英资银行之一，和麦加利银行一起迁到圆明园路兰心大楼内，经营中国政府指定的外汇业务。
1955年，汇丰撤出上海，另租圆明园路兰心大楼的写字间作为办事处。大楼归国有。上海市政府进驻，将其改名“上海市人民政府大楼”，简称“市府大楼”。副楼在1956年改为上海市档案馆。
1990年，汇丰曾经与上海市政府接触，想购回大楼，但最终因价格原因没有实现。
1991年汇丰银行上海分行获准经营全面的外汇业务。
1996年12月，该行成为首批获准在上海经营人民币的9家外资银行之一。现汇丰银行上海分行行址迁浦东新区浦东大道1号1楼。
中山东一路12号现使用单位是上海浦东发展银行。浦发银行于1993年1月开业，为股份制商业银行。该行在上海、北京、杭州、南京、重庆、广州、宁波、苏州设立10家分支行。汇丰银行（今浦东发展银行）楼在汉口路与福州路之间，它北邻海关大楼，南邻福州路。
1997年，上海市政府撤出大楼，上海浦东发展银行通过置换购得该大楼的使用权。大楼壁画在翻新工程中被重新发现。
2000年5月，汇丰将其中国业务总部移至上海的浦东。
