安徽庐江县地处皖中，北濒巢湖，南近长江，西依大别山脉，紧邻安徽省省会合肥。
庐江县境春秋属舒国，徐人取舒后，为楚地。
公元前223年（秦王政二十四年）以楚地为郡，舒邑先属九江郡，后属衡山郡。 汉为舒县，初属淮南国衡山郡，后属衡山国、衡山郡。公元前121年（武帝元狩二年），废江南庐江郡，以其地分属豫章和鄣郡（后改丹阳郡），以江北衡山郡东部及九江郡南部置新的庐江郡，郡治舒。公元4年（平帝元始四年）王莽改庐江郡之舒县为昆乡。东汉仍为庐江郡舒县。
三国，先后分属为吴庐江郡（治皖），魏庐江郡（治阳泉）。
晋仍为舒县，属豫州庐江郡（治阳泉）。
刘宋舒县仍属庐江郡，隶南豫州。 公元480年（南齐建元二年），舒县复为庐江郡治。 梁置湘州，庐江郡属之，州郡治均在舒县。侯景之乱，北魏高澄取淮南地，庐江郡改属合州（治合肥），改舒名潜。 陈时，潜为庐江郡治。《魏书·地形志》：庐江郡领县三，首潜，注有野父山（即冶父山）。
公元583年（隋开皇三年）起，以州统县，废庐江郡改合州为庐州，公元607年（大业三年）复改庐州为庐江郡，州、郡治移建于合肥，为存旧名，改旧治为庐江县。
唐为庐江县。公元620年（武德三年）又改庐江郡为庐州。公元735年（开元二十三年），分合肥、庐江地置舒城县。公元742年（天宝元年）改庐州为庐江郡，公元758年（乾元元年）复改庐江郡为庐州，庐江是其属县。
五代十国时，庐江县属庐州。庐州先属杨吴，置德胜军于庐州，后属南唐，置昭顺军。周克淮南，改为保信军。
宋初属庐州保信军。公元978年（太平兴国三年）宋分庐江县地置无为军，庐江属之。无为军先属淮南路，公元1072年（熙宁五年）改属淮西路。
元属无为州，至公元1291年（元二十八年）改属庐州路，隶河南江北行省。
明隶庐州府。庐州府直隶六部，后直隶南京。
1645年（清顺治二年）庐江县属江南布政使司庐州府。1661年（顺治十八年）属江南左布政使司庐州府。1667年（康熙六年）改左布政使司为安徽布政使司，庐江县属安庐滁和道庐州府。