环球航空公司的总裁也不断地更替，等到第六任总裁上任后，规定休斯除了监察之外，不得任意干预公司行政决定，环球航空公司的所有业务由总裁会同银行联合托管。
在1960年12月，55岁的休斯不但放弃了心爱的电影事业和一手建立的电子公司，同时还脱离了毕生热爱的航空事业。休斯曾经缔造了一个王国，可是现在他却失去了整个世界，更确切地说，他被这个世界抛弃了。
1961年底，显赫一时的霍华德·休斯真的要隐居了，他花了一大笔钱，租下了一座古堡式山顶别墅。这个高级休闲胜地位于圣地亚哥以北约15英里，离海岸线5英里远。在那里，琼·彼得斯细心地照顾着休斯的生活起居。这看似平静、甜美的生活却并不是休斯命运的结局。
在这期间，休斯的生活一直无法平静，他与环球航空公司的管理人员之间的矛盾正在不断激化。当年5月，休斯正准备要控告环球航空公司那批管理人员时，对方却以休斯曾经以不适当的手段管理公司而使公司蒙受损失为由首先发难，向法院提出控告，并且要求休斯赔偿1.15亿美元的损失，并进一步要求法院强制休斯出让他的所有股权，以迫使他永远离开环球航空公司。休斯则以环球航空公司大股东的身份反控对方，提出要求，要对方向他赔偿3亿美元。