山上鄉受大溪圍繞，惟其地形有如五鳳朝陽，四周小丘環繞，故古地名為「山仔頂」，山上略位台南縣中央，北以曾文溪和大內鄉為鄰，西鄰新市鄉與善化鎮，南與善化鎮、左鎮鄉相隔，東接玉井鄉，山上鄉型狀略似一元寶，東西長8.6公里，南北距3.2公里，轄境面積27.52公里，為臺南縣鄉鎮市中面積最小的鄉鎮。
　山上社區內之山上淨水場建造於民國元年，因早期交通不便，欲上該淨水池，必經田間小徑，跋涉一百餘層石階，方能前往，現因給水輸送設備改善，故該淨水池已報廢不用，但仍遺留在此，則為本地導覽之最佳景點。