衡山药业前身为上海衡山制药厂(原上海第二十一制药厂)，创建于1942年，原名“拜克胶囊药厂”，1956年公私合营更名为“上海衡山制药厂”，七十年代改名为“上海第二十一制药厂”，是我国较早专业化生产胶囊制剂的药品生产企业。
五、六十年代，衡山药业作为上海医药行业的骨干制剂单位，为我国普药发展做出了很大的贡献。七、八十年代，衡山药业成为上海医药外贸胶囊制剂出口生产基地，生产四环素、氯霉素、强力霉素、消炎痛等，产品远销欧美、亚洲、非洲、拉丁美洲等五十多个国家和地区，并以优异的质量，获得联合国嘉奖，其中生产的四环素胶囊，还获得国家银质奖，被誉为“中国黄”。
八十年代中期，衡山药业积极开发新产品、新剂型，在上海成功地开发了国产头孢氨苄胶囊。此后，产品开发更是突飞猛进，逐步形成了抗感染、心血管、呼吸类、消化类，消炎镇痛、小儿用药(干糖浆)六大系列六十个品种，剂型也从原先的胶囊制剂发展到片剂、散剂、颗粒剂、栓剂等。
衡山药业持有药品批准文号60个，以国家基本药物为主。枸橼酸氯米芬胶囊、青霉素V钾胶囊、双氯芬酸钠缓释胶囊(I)、头孢克肟胶囊、盐酸舍曲林片、盐酸依普拉酮片、口服补液盐散(Ⅱ)为本市持有该产品批文的唯一药企;枸橼酸氯米芬胶囊占到全国60%份额，法罗培南钠胶囊、法莫替丁散为国内唯一产品剂型。