裴氏家族的始祖，是位列五帝之一的颛顼。颛顼的后代伯益被舜帝赐姓为嬴。其后人在周僖王时开始姓裴。裴陵，就是裴氏家族公认的第一位裴姓祖先。汉文帝时，裴氏家族出现了第一位正史有确切记载的官员，他就是官居水衡都尉、侍中的裴盖。从此，裴家坐官为仕者纷至沓来，一发而不可收。裴盖的九世孙裴遵，曾跟随汉光武帝征战陇蜀，后任敦煌太守，《后汉书·西域传》中可见他的生平事迹。裴家还有一个敦煌太守叫裴岑，从著名的《汉敦煌太守裴岑纪功碑》上，可读到他大败匈奴的丰功伟绩。
裴陵的第27世孙裴晔，在东汉顺帝时任并州刺史、度辽将军。他仰观天文，俯察地理，经反复斟酌，终于在汉顺帝永建初年(公元126年)合族搬迁到闻喜县东50华里的地方定居。天下之大，为何偏偏选中此处？因为裴晔看到这里群岭巍峨，松柏苍郁，紫霞萦绕，荷香弥漫，认定此处是最适宜家族繁衍人丁、哺养英才的风水宝地。因这里漫山遍野都是柏树，于是起名裴柏村。自此以后，闻喜县裴柏村就作为裴氏祖地而被裴氏后代列入家谱和被历代史家用入正史。也就是从裴晔定居裴柏村开始，裴氏家族才掀开了灿烂辉煌的家族史页，公侯将相源源不断涌现出来。
裴晔首先以身作则、率先垂范。他的两个儿子都当了宰相。长子裴羲，汉桓帝时任尚书令、开国公，是裴氏家族的第一位宰相。次子裴茂，从县令、郡守当起，一直官至尚书令，被汉灵帝封为阳吉平侯。
身为侯爵的裴茂生了4个儿子。这4个儿子后来分为东、西、中3支，名曰“三眷”，分别南下西迁，分居全国。近两千年过去，如今，裴氏后代遍布中华大地，不少还移居海外。但是考查其谱系家纲，追本溯源，所有裴姓子孙都出自“三眷”之后，总族根都在闻喜县裴柏村。所以才有“宗人遍天下，天下无二裴”之说。
在漫漫两千年的历史天空中，裴氏家族名人辈出，如群星灿烂。查阅史册，裴氏一门在正史立传者就多达600余人。其中有历朝宰相59人，各代大将军59人，中书侍郎14人，尚书55人，侍郎44人，常侍11人，御史 11人，刺史 211人，太守77人。有89人被封公、33人被封侯。出过3位皇后、2位王妃、21位驸马爷。有117人考取进士，其中，11人高中头名状元。
裴氏“源于周秦，盛于隋唐”。大唐王朝290年历史中共产生了396名宰相，而裴氏一家就有34名，近乎十分之一。唐朝的重大事件，无不有裴氏的参与。所以胡耀邦同志说过，研究中国封建社会要研究南林北裴。1958年成都会议期间，毛泽东主席曾问原山西省委书记陶鲁笳说，你是否知道裴度这个人？你们闻喜县裴家出过那么多宰相，可值得研究哇。可见他老人家对裴氏现象也很感兴趣。
1989年，裴氏第74代后裔、原山西省省长、中科院党委副书记裴丽生邀请著名书画大师董寿平为裴柏村题写了“宰相村”村名。“中华宰相村”从此不胫而走，传遍中国和世界。
现在的裴柏村，裴氏家族的建筑、碑刻、墓葬等历史遗迹很多。现存裴氏祠堂、裴氏碑廊、裴氏墓冢等众多古迹。 裴氏祠堂又称晋公（晋公裴度，字中立，为唐宪宗、穆家、敬宗、文宗四朝重臣，出将入相，爵封晋公。）祠，建于唐贞观三年（629年），有前殿、后殿、状元坊、碑廊等，规模宏大，但屡遭兵燹，屡修屡毁。
裴氏碑廊，几乎是中华精品书刻博物馆。七十年代重建，保存古碑数十通，在史料和书法艺术上均有很高价值。其中的《裴鸿碑》，魏隶合一，书法稳健，镌刻于北周武帝大和三年（ 568年），是裴氏现存最早的碑刻。《裴镜民碑》，由唐初史学家李白药撰文，书法家殷令名书写，楷体，既近颜风，又含柳意，端庄凝重，笔力挺拔。《裴光庭神道碑》，张九龄撰文，唐玄宗李隆基书写，行书，用笔豪放，字体俊美。《平淮西碑》，由唐代著名文学家韩愈撰文，清咸丰年间军机大臣祁隽藻重书。此碑记述唐代名相裴度平淮西吴元济叛乱的功绩，共刻四石，并排耸立，气势磅礴，文、书、刻俱佳，被称为“三绝碑”。此外还有金大定至清代刻的裴氏谱序碑17通，为氏族遗物之精华。这些碑刻是研究裴氏家族历史和书法艺术的珍贵资料。
“千年荣显”这是毛主席1958年在中共中央召开的成都会议期间，率领与会代表游览武侯祠，观看裴度撰写的诸葛武侯祠堂的碑文时，找我谈的一段话中说的。他说：“你在山西当父母官，可知道裴度是谁”没等我回答，他便说：“裴度是唐朝的宰相，是你治下的闻喜县人。闻喜县是中国历史上出宰相最多的县，出自闻喜的宰相多是裴氏家族。裴氏家族千年荣显，是历史上最有名的家族。”