Au fil des ans, le CAFI a pu disposer du personnel suivant : Un directeur et un directeur-adjoint, un médecin, un infirmier, une aide soignante, deux secrétaires, une standardiste, une assistante sociale, quatre employés à l'entretien et cinq femmes de service.

Les directeurs du CAFI

• M. Rudler, premier directeur avant même l'arrivée des familles. Il a aussi la charge du centre d'hébergement de Creysse (Dordogne).

• Août 1956 à août 1957 : M. Henri Alquier, ancien officier de police en Indochine,
• Aout 1957 - début 1959 : M. Emmanuel de la Bretonnière de Chèque. Il partit ensuite administrer le centre des rapatriés de Noyant, dans l'Allier.
• 1959-1968 : M. Marcel Tursan, assisté quelques temps par M. Jean Réal.
• 1968 - 1974 : M. Maurice Bouchet et son adjoint, M. Guy Durney, dirigèrent, à partir de 1968 les centres de Sainte-Livrade-sur-Lot et celui de Bias qui accueillait depuis 1963 les familles rapatriées d'Algérie,.
• 1974 -1976 : M. Robert Boutin.
• 1976 à 1994 : M. Guy Durney fut le dernier directeur du CAFI (il évoque son départ le 30 octobre, dans un courrier daté de septembre 94).

Après la cession à la commune de Sainte-Livrade (1981), trois personnes sont restées jusqu'à leurs départs en retraite : Mme Durney, pour l'administration, jusqu’en 1995, et deux personnes chargées de l'entretien jusqu'en 1996.