武德殿发源于日本的警察系统，是练习武道的场所，之后再扩展到城市与学校。台湾曾是日本的殖民地，统治者自然会引入各种日本文化，以其在殖民地上形塑母国文化，在文化上是如此，在建筑上自然也不例外，武德殿就是在此种因素的影响下传入台湾。警察肩负社会安定、人民安全之责，经常必须面对盗匪及不法之徒，因此必须习得防身的武艺以求自保及保护人民，因此武术对维护治安的警察就格外重要与必要。因此在1895年（明治28年）于日本京都成立的“大日本武德会”，其会员以警察为主，其所建的武道场建筑，称之为“武德殿”。当日本统治台湾时，日本警察系统就影响到台湾。因此台湾的武道文化就由当时的日本警界引入、主导及发展，在警察系统的推动下，当时的台湾州、厅、郡等都陆续兴建起“武德殿”。1924年（大正13年）高雄武德殿于凑町四丁目完工，即由高雄警察署管理与使用，即今鼓山区登山街36号鼓山国小后面、中山大学西子湾山洞左侧，为日式砖造建筑。日本在全台各地兴建武道馆，以提供公务员、警察及学生作为练武场所，男生必须学习柔道、剑道或角力（相朴），而女生则以射箭为主。并每年在台湾各地先举办武道大会或演武大会，选出优胜者，再集中至台湾地方本部武德会进行决赛，以发扬武士道的习武精神。其建筑内部主要分两大部份，东边为学习剑道区，西边则是学习柔道区，约可容纳一百人，属当时的警察署管辖，（即今临海二路与临海一路交叉处的永光行）。
国民政府接收台湾后则改由鼓山国民学校代管，并曾经权充教职员宿舍，后无人进驻，一度呈现荒废的状态。民国88年高市民政局审定为古迹。92年文化局成立后，即积极进行整修规划设计，历经一年修复，于93年12月完工，94年4月委托社团法人高雄市剑道文化促进会经营管理，为本市第一座非营利古迹委外案例，也是全台第一座以原始功能再利用之古迹。武德殿建筑兼具“佛寺”、“宫殿”、“神社”三类建筑之空间元素，并加入武术活动之使用机能，形成特有之空间形态。高雄武德殿其屋顶为“入母屋”形式（同中国之“歇山”），正面入口为“唐破风”形态；檐下有对称立柱，前有三支一组的立柱，后有一支立柱与两支附壁柱之组合，形态接近“塔斯干柱式”（Tuscan order），柱面上有箭形及靶形浮雕，也隐喻了武德殿之原始传统武艺活动。