Pierwotnie teren na którym stoi pałac nosił nazwę Jastrzębie, a który w latach 1667-1840 był w posiadaniu rodziny Karłowskich – herby Prawdzic, z których wywodzi się Błogosławiona Maria Karłowska – Założycielka Zgromadzenia Sióstr Pasterek od Opatrzności Bożej.   

Pałac w Żołędowie został zbudowany w roku 1820. Był to typowy, parkowy dwór o dachu dwuspadowym krytym dachówką.

W roku 1877 pałac znacznie przebudowano przez Hansa von Kleista, dodając dwie wieże narożne. Wystrój zewnętrzny został wykonany w eklektycznym stylu, charakterystycznym dla niemieckiej architektury prezydenckiej panującej po wojnie francusko-pruskiej. Autor budynku jest nieznany.

Na przełomie roku 1981/82 ks. Radca Bogusław Jerzycki i ks. Feliks Staszak z Bydgoszczy zwrócili się do Przełożonej Generalnej Zgromadzenia Sióstr Pasterek od Opatrzności Bożej, m. Flawiany Mendat z prośbą, aby zgromadzenie przyjęło pałac na schronisko dla samotnych matek. Pałac był w stanie ruiny, przez dziesięć lat nieużytkowany . Zdewastowany obiekt został wyremontowany w latach 1986-1998. Dnia 12 września 1992 roku ks. bp. Jan Bernard Szlaga poświęcił dom oraz kaplicę pod wezwaniem pana Jezusa Dobrego Pasterza. Tabernakulum w kaplicy ma kształt serca oplecionego cierniami. Po obu stronach znajdują się  ikony Pana Jezusa Dobrego Pasterza i Matki Boże Nieustającej Pomocy oraz relikwie bł. Marii Karłowskiej, Założycielki Zgromadzenia Sióstr Pasterek.

Dnia 1 stycznia 2005 r powstało niepubliczne Przedszkole Dobrego Pasterza dla dzieci z okolicy.