民政部門。根據《中華人民共和國社會團體法》和《社會團體登記管理條例》，退休協會屬於社會團體，需要進行登記管理。在我國，民政部門負責社會組織的登記管理，包括社會組織的成立、變更和註銷。所以退休協會的管理也屬於民政部門的職責。同時，退休協會也需要遵守相關法律法規和政策，開展合法、規範、有序的活動。