高氏将府和陈氏官邸，在朝廷，在安庆地方，均是有影响的大户人家，岂能容得这伤风败俗、大煞风景的事……事到1910年，姐夫陈独秀和妻妹高君曼的自由恋爱，已发展到同居、结婚，陈家、高家一齐反对，认为这是大逆不道、叛祖离经之事。武将高登科、文官陈昔凡两亲家怒容满面，大发雷霆联手要驱逐他们出家门。养父陈昔凡认为这种败坏门风的事，比陈独秀干革命多次殃及家庭还难以容忍，是地道的败家子，以致扬言退继，以维护封建卫道士的假面具。岳父高登科则认为，两姐妹同嫁一人，为礼教所不容，大失老将体面，痛悔当初错择了女婿，气得一病多日。在《陈氏家谱》中，仍把高君曼称为侧室，对她所生的子女称为庶出，打入另册，不能与原配高晓岚所生的子女相提并论。