秦氏主源出自赢姓，相传系秦三世子婴后人，以国为氏；又一支出于姬姓，居秦邑，以邑为氏；另一支出于楚，古代称之三秦。上海和长江三角洲地区秦姓，大多源自高邮秦观家族，宋靖康之乱时，南居扬州和苏南；咸淳年间，秦知柔兄弟由扬州南渡，分居沪读、浦东九团、青浦赵屯。秦知柔孙就是秦裕伯。在此前后，同族秦约从盐城迁崇明，秦君瑞迁紫堤、幡龙，秦辅之从无锡迁嘉定。