Az első bácsborsódi kastély 1767-ben épült barokk stílusban. Latinovits József építette, későbbiekben pedig Latinovits Frigyes tulajdonába került. Ez a legépebben fennmaradt kastély. A II. világháborúban nagyrészt elkallódtak berendezési tárgyai, a kb. 2000 kötetes könyvtár gyűjteménye, és a hajdani Latinovits-féle birtokokra vonatkozó Mária Terézia korabeli számos érdekes térkép is. A tárgyaknak csak töredéke maradt fenn, és ezek sem Bácsborsódon találhatóak meg.
Utolsó magántulajdonosa Schumacher Frigyesné született Lelbach Krisztina volt.
1949-ben szociális otthon nyílt az épületben, ma már „Őszi Napfény” Integrált Szociális Intézmény néven működik. A régi épület mellé új szárnyakat építettek, a parkot teljes mértékben átalakították, további épületeket építettek a bővülő igényeknek megfelelően. A kertben egy női alakot ábrázoló szobor van, mely alatt a hagyomány szerint Latinovits Frigyes lánya, Ilona van eltemetve, aki fiatalon öngyilkos lett. A régi időket idézi a még ma is meglévő cserépkályha, illetve a főépületben található kovácsoltvas lépcsőkarzat a kandeláberekkel. A hátsó udvarban felfedezhető a régi kovácsoltvas kapu, melyet ma már nem használnak.
Helyi védelem alatt álló építészeti érték