张苍是阳武人，喜好读书、音律和历法。秦朝时担任御史，负责掌管宫廷藏书和文书档案。因犯罪逃亡回家。等到沛公攻占土地经过阳武时，张苍以宾客的身份跟随沛公攻打南阳。张苍曾被判斩首之刑，他解开衣服趴在刑具上，身形高大，皮肤白皙肥胖如同瓠瓜，当时王陵看到后，惊叹他是个相貌出众的人才，于是向沛公进言，赦免了他的死罪。张苍随后跟随沛公向西进入武关，抵达咸阳。

沛公被立为汉王后，进入汉中，又回师平定三秦。陈馀击败常山王张耳，张耳归顺汉朝。汉朝任命张苍为常山郡守。张苍跟随韩信攻打赵国，擒获陈馀。赵地平定后，汉王任命张苍为代国丞相，防备边境的侵扰。不久后调任赵国丞相，辅佐赵王张耳。张耳去世后，辅佐他的儿子张敖。后来又调任代国丞相。燕王臧荼反叛，张苍以代国丞相的身份跟随汉王攻打臧荼有功，被封为北平侯，食邑一千二百户。

张苍升任计相，一个月后，改以列侯的身份担任主计四年。当时，萧何为相国，而张苍从秦朝时就担任柱下御史，熟悉天下的图书典籍和户籍账目，又擅长算术、音律和历法，因此汉王让张