布農人分佈於中央山脈的中心地帶，其居住地海拔在1000～1500米，為臺灣高山族九個群體中居住地最高的一支。其社會組織基本上與泰雅人一樣，類似於M.Sahlins所說的“大人物bigman制”社會，不同的是布農人有兩位領袖，分管內、外事宜。其聚落間的關係，雖有時也有超越聚落的地域性攻守聯盟，也有因婚姻關係結合在一起的，但缺少正式的地域性組織。

布農人的村社多位於險峻且不易遭受入侵的山坡地或臺地，臨近溪穀，村社間有大路，通往田間有小路，通水源地則稱水路，此外還有獵路、漁路等。村社中沒有井，而需至山溪或泉水處取水。村落若建有會所的話，即為村社中重要且唯一的公共性建築。由於會所已無實例可尋，其建築形體如今僅能由口述史料得之：會所為地面式建築，牆壁及屋頂皆以石板疊成，屋頂為人字形頂，開有三個天窗，牆上開口多，壁上設構架，分置人頭骨及獸骨。

村社的基本構成單元為各家自有的宅地。在此宅地上除有主屋及前庭外，另有附屬設施，如工作室、貯藏室、豬舍、雞舍、涼臺等。有時主屋與前庭合在一起，而附屬設施分置；有時有些附屬設施附於主屋旁而圍繞著前庭。長方形主屋為簷邊正入型，內由兩排矩形角柱分隔出三室：前室除入口處用作通道外，餘置寢間，有時於入口兩旁設置穀倉，其旁置床鋪；中室為起居室，兩側分置爐臺，若家庭成員過多，則於主屋兩側先置寢間，再往內置放爐臺；後室通常只設穀倉或棚架，有時後室的單側或兩側亦置寢間。主屋前常置有由石板鋪成的庭院，其周圍再以低矮石垣圍繞。由於主屋常利用山腹地為其基地，主屋的後壁常與筆直的山壁為伍，甚至以山壁為背壁。主屋與前庭地面有時低於周圍地面，有時齊平，也有時主屋地面更低於前庭的地面，而形成類似于雅美人主屋的淺穴形式。

寢間周圍的隔間牆由木板構成或由茅莖編成，上吊天花(有時作為貯藏間)，床高於地面約30釐米，上鋪木板，寢間入口有60釐米寬的內開門，其用材與隔間牆同。山牆式屋頂的前坡較大而覆蓋前兩室，後坡則僅覆蓋後室。屋頂構造近似於排灣人的北部型，其屋葺用材有石板、厚木板、檜皮或茅材等。石板葺者的底材以厚木材排列而成，而檜皮或茅葺者則以茅莖代之，有時則不用底材。至於牆壁構造，若石材易取則全為石板造；有時前壁為石板造，而其他牆壁的上部為木板造；有時前壁及側牆上部用木板造，其餘的用石材造；有時四壁上部用木柱，並以茅莖為牆，也有皆用木板為壁者。不論何種牆壁，通常四壁皆不開窗，僅中室的屋頂有時開天窗。

室內最為神聖的場所是位於後室供置放祭祀器具和聖粟的穀倉，以及穀倉前位於中室的中央空地，許多祭祀儀式皆在這些地方舉行，顯示了後尊前卑、後神聖前世俗的格局觀念。位於中室的中央空地兩側的爐臺雖與整體平面呈左右對稱的格局，然而據文獻記載左爐煮人食、右爐煮豬食的現象，可以看出主屋的空間格局有左尊右卑、左大右小的格局觀念，況且左側的寢間常為家長的居所。前庭亦常作舉行儀式、聚眾歌舞之用，前庭近入口處的牆上或簷下常放置獸骨架，而頭骨棚有時亦以立柱架成的棚子形式出現於前庭，位於台東地區的布農人主屋，其前庭的前方有時亦設有如雅美人一樣的涼臺。豬舍和雞舍則簡單地以木材或石材搭成。