开发南雁重建书院
顺溪集镇，群山环抱，平地狭窄，山场虽大但产出有限。自古顺溪陈氏以智勇双全传誉乡里，他们聚族而居、人丁兴旺， 不少人外出谋生，并致力于当地开发，南雁荡山的建设也凝结了他们的汗水。
东西洞是南雁荡山景点最集中的地方，这里层峦叠嶂，清溪环绕，茂林修竹，鸟语花香，曾是北宋末期理学家程颐的学生陈经邦、经正兄弟的读书处。光绪九年（1883），陈少文响应县令汤肇熙的倡议，拆产捐金重建会文书院，于次年竣工。取“以文会友”的古训，仍沿用“会文书院”旧名。紧接着，陈少文捐田10余亩作为书院基金，并为书院筹集膏火田100多亩。宣统元年（1909），陈少文等人又在会文书院门台外、东西华表峰间重建三间楼房，取名为“棣萼世辉楼”。棣萼乃兄弟之代称，以纪念经邦、经正兄弟。顺溪陈氏家谱中有《棣萼世辉楼记》详叙其事。经此点缀，南雁景区增添了新的景观，故此声名大振。许多名流纷至沓来，晚清太仆孙衣言和翰林孙锵鸣兄弟也曾应陈少文之邀到此游览。为了南雁的开发和建设，陈少文曾组织南雁荡山董事会，并担任主持人。此会始建于光绪年间，由社会各界人士组成。每年农历三月十五日集会，商讨南雁开发事宜，活动持续至民国时期。陈少文还在景区栽植花木，修筑道路，建造路亭，为旅游事业尽力，故人们推誉其为“南雁主人”。
兴办新学创建女校
顺溪陈氏虽远居偏僻山区，仍不忘“耕读传家”的传统。早在清乾隆年间，顺溪陈氏文风已盛，创办了书院和私塾。光绪年间，陈少文在会文书院开办初等教育班，邀请名师为青年学子讲授经史。购置征集图书1万多册，供邻近少年学习文化知识之需，各地在校生也利用寒暑假来此进修。
戊戌变法后，陈少文受新潮流的影响，积极兴办新学。光绪二十七年（1901），他曾向当时正在温州、瑞安兴办新学的孙诒让讨教办学事宜，从瑞安携归办学程规等资料后，即在顺溪开办“益智高等女学校”，招收当地10多位姑娘入学读书。学校设有语文、算术、唱歌等课程，以不同于私塾的办学形式上课。这是平阳最早的女子学校，比1905年创办于县城的“毓秀女子学堂”还早些。当时创办新学有很大的压力，办女校就更难了，但陈少文还是力排众难将它办了起来，并持之以恒。女校的学生免交学费，办学经费及校舍均由陈少文解决。光绪三十二年（1906），“益智高等女学校”改名为“益智学堂”，设在陈少文故居的小别墅“适舫”内。宣统三年（1911），瑞安孙诒泽曾为之撰写碑文：“少文中翰，好客乐善，热心办学。郡邑名士过从几无虚日。曾于光绪戊戌冬筑此为招待所，兼以自适，命曰：‘适舫’。嗣因独办益智小学，借作讲堂，学务调查员至者，皆极称其光线最合学校之用；则所谓适者不但适于燕居，适于投辖，而且适于学校矣。爰为书此，以志钦慕。”