Le château, avec ses pièces richement meublées, est la demeure de famille du peintre Henri de Toulouse-Lautrec. Il y a passé une grande partie de son enfance et, plus tard, ses étés en famille. Le lieu en porte la trace. Le château est mentionné dès la fin du XIIe siècle.
La terre du Bosc est restée, depuis les origines, dans la même famille, les d'Imbert du Bosc, officiers au service du roi. La famille s'éteint au 19e siècle et, par alliance, le château passe alors aux Toulouse-Lautrec. Il est transformé en maison familiale par la comtesse Gabrielle de Toulouse-Lautrec, la grand-mère paternelle de Henri, qui fait également construire la chapelle en 1880.
