青岛市档案馆于1959年开始筹建，1961年7月正式成立。1963年青岛市档案馆与新成立的青岛市档案管理局迁入青岛市湖南路37号（后改为39号）合署办公。 “文革”期间，青岛市档案馆与青岛市档案局被撤销，1979年12月得以恢复。恢复后的青岛市档案馆仍与青岛市档案局合署办公，青岛市档案局列入政府序列，受市委、市政府双重领导，青岛市档案馆为市委、市政府直属的科学文化事业单位。

青岛市档案馆坐落于城市东部新区行政中心的中轴线上，占地面积10267平方米，主体建筑面积20000多平方米，其中馆库面积4096平方米，档案展览中心6000多平方米，是国家一级档案馆、山东省特级档案馆。馆藏档案资料93万卷（件、册），其中民国档案23万余卷，保存较为完整；英、德、日、俄等外文档案33800余卷，是馆藏的一大特色。馆藏历史资料1万余册，占资料总量的近五分之一，其中包括新中国成立前出版的报纸多达97种，是青岛市重要的珍贵资料。　　作为这座城市档案的重要承载者，青岛市档案馆先后被命名为山东省、青岛市两级社会科学普及教育基地、关心下一代教育基地、爱国主义教育基地、机关干部现场教学基地、机关青年教育实践基地、未成年人“社会课堂”、驻青部队政治教育基地、老干部地方历史学习研究基地、驻青高校文史研究和教学实践基地等。　　近年来，青岛市档案馆全方位、多层次地开展档案资源建设，档案依法接收的主渠道不断拓展，接收范围由市直单位拓展到基层单位，接收档案门类由单一文书档案拓展到专门档案、照片档案、多媒体档案和实物档案等；档案征集工作取得重大突破，先后赴德国、美国、日本、奥地利、英国等国征集复制档案80余万页、照片7000余张、地图400余张、**440分钟，弥补了青岛历史记录的部分空白；自2002年开始实施的“城市记忆工程”已取得阶段性成果，拍摄了25万多分钟的影像档案和25万余张照片资料，形成了生动反映21世纪初青岛地域风貌、城市建设、人文景观、民俗风情的影像档案，为当代青岛留下了宝贵的城市发展记忆。　　随着馆藏建设导向的调整，涉及民生的档案资料被逐步纳入到档案资源建设体系中，城市拆迁档案、劳模档案、学籍档案、知青档案、婚姻档案等一大批民生档案相继被接收进馆。十年间，青岛市档案馆馆藏总量增长超过15倍，其中50%以上的新增档案是民生档案。馆藏结构得到优化，涵盖了文书档案、专门档案、科技档案、照片档案、实物档案、音像档案等多个门类，其中专门档案33万卷（件）、照片档案近47万张、电子档案10万余盘（件），比较系统地记录了青岛城市发展的历程，成为档案馆服务社会、服务群众的核心资源。