卡斯特羅(左)及勞爾。
剛離世的古巴前總統卡斯特羅統治國家接近50年，期間大批古巴人流亡海外，令家庭分離，當中也包括卡斯特羅自己的家人。
卡斯特羅的弟弟勞爾（Raul）是他最值得信賴的的左右手，更成為了總統接班人。但他的妹妹胡瓦納（Juana）卻走向另一個極端，她因不同意卡斯特羅的施政，於1964年流亡到美國佛羅里達，40年來沒有再跟這位她稱為「怪物」的兄長再說過一句話。
卡斯特羅的兒子菲德利托（Fidelito) 一直被視為古巴未來的接班人，但他的妹妹阿利娜（（Alina Fernandez Revuelta）20年前逃離古巴，身處邁亞密的她曾大力抨擊其父親，更成為美國有線新聞網絡（CNN）的特約撰稿人。
胡瓦納在回憶錄《我的兄弟卡斯特羅和勞爾—一段秘史》中表示，自己在1964年逃離古巴前更為美國當過間謀，為中情局搜集資料長達3年之久。她指摘卡斯特羅背叛了他的支持者，革命沒有將民主與和平帶到古巴：「我並沒有背叛他，是他背叛了我。」她又表示對卡斯特羅實行一黨專制表示失望。
胡瓦納已表明不會返回古巴奔喪，但亦聲稱不會因為任何一個人的死而雀躍。
相反，其弟勞爾除了是現時古巴第一號人物，其四個孩子中有三個進入了權力系統。長女德博拉在教育部擔任顧問，另一位女兒瑪麗拉是勢力強大的古巴婦女聯合會的主席，並於今年1月當選古巴議會議員。連德博拉29歲的兒子小勞爾在他的外公身邊做貼身保鏢，幾乎與外公寸步不離。
勞爾唯一的兒子、47歲的亞歷杭德羅更大有希望更上一層樓。他目前擔任著兩個要職：一是內政部情報局局長，同時也是近年來勞爾開展的反貪行動的負責人。
卡斯特羅的第一任妻子米爾塔（Mirta Diaz-Balart ) 出生於古巴政治望族，她不顧家人反對。於1948年與卡斯特羅結婚，但後來由於政治立場分歧，加上發現了卡斯特羅與另一位女子娜塔利亞（Natalia Revuelta Clews)的婚外情，於1956年與卡斯特羅離婚，携同兒子菲德利托前往美國。後來又移居西班牙。
菲德利托當年隨母親到美國後，在那裡接受小學教育。到1959年，卡斯特羅說服米爾塔把兒子送回古巴。小菲德爾後來赴蘇聯升學，並取得核物理博士學位。
卡斯特羅跟娜塔利亞婚後誕下女兒阿利娜，然而卡斯特羅因為要到墨西哥策動遊擊戰而與娜塔利亞分開。
阿利娜後來成了一位「反叛女兒」， 一直與父親不和 。1993年，阿利娜喬裝打扮飛往西班牙，從此再沒有回過古巴。她後來輾轉到了美國，在邁阿密一家電台做主持人。阿利娜不單時常在美國媒體對父親大肆抨擊，還撰寫過一本言詞激烈的書《卡斯特羅之女：一個流亡者的回憶》。及後出任美國有線新聞網絡駐邁阿密的特約撰稿人。
此外，米爾塔的兩名外甥馬利奧（Mario Diaz-Balart)及林肯（Lincoln Diaz-Balart )均曾在美國佛羅里達州當選眾議院。
卡斯特羅在1961年遇到時任女教師的達利婭（Dalia Soto del Valle)，並與她一直共同生活至今。他們的五個孩子的名字拼寫都是以A開頭的：亞歷克西斯(Alexis)、亞歷杭德羅(Alejandro) 、亞歷山大(Alexander)、 安東尼奧(Antonio)和安傑利托(Angelito)。
達利婭和她的孩子很低調地生活，遠離政治。據目前居住在美國佛羅里達州的卡斯特羅前保鏢雷納爾多·桑切斯憶述，這五個孩子「都很聰明，但大多數都不是很活潑。他們從小就進入了貴族學校，始終生活在一個遠離現實世界的特權階層中」。他們居住在哈瓦那西部的私人莊園，有游泳池、直升機場、用於農作物種植的溫室、生態花園，亦飼養了一群乳牛。
雖然政治上出現分歧，據悉勞爾在周末時會安排卡斯特羅家族聚餐或進行騎馬等活動。正如胡瓦納2006年卡斯特羅接受腸道手術時曾說，「這仍是我的家，他們是我的兄弟。」
