小鱼山主建筑为“览潮阁”，三层八角高18米，与前海栈桥的回澜阁遥相呼应。阁内有螺旋式的楼梯，外设护栏平台，人们可沿平台绕阁一周，饱览“蓝天、碧海、青山、绿树、红瓦、黄墙”这一青岛的独特风貌。

    山之西坡有一挑檐式六角亭，因站在亭内可一览碧波荡漾的汇泉湾，故取名“碧波亭”。东面是四角的“拥翠亭”，其风格与“碧波亭”相似。上述三处的匾额皆由著名艺术大师吴作人先生题字。

    览潮阁和拥翠亭连接处的曲廊正面，有一直径两米的白色雪花石浮雕山标。山标周围是黑色大理石象形文字和壁画。北廊壁上镶嵌着长九米，高二点六七米瓷板釉上彩壁画《八仙过海》，其设计稿获全国美展一等奖。东廊壁上镶嵌着长九点一米，高二点六七米的大型瓷板釉下彩壁画《蒲松龄宇宙》，描绘了蒲松龄的故居和《崂山道士》、《促织》、《席方平》等聊斋故事情节，构图丰满，意味深长。

    整个小鱼山公园的建筑设计围绕“海”的主题，突出了“鱼”的图案造型，构造新颖，使古典园林呈现着时代的气息，使自然美、建筑美和艺术美融为一体，在建筑风格上颇具特点。 山坡南面有代表青岛欧式建筑风格的微缩景观。