Robert Widerman était le plus jeune des 14 enfants de sa famille venue s’installer définitivement à Paris en 1923.

Six membres de la famille Widerman sont déportés.

Robert Widerman est donc déporté le 25 septembre 1942 de Drancy par le convoi 37 à destination d’Auschwitz-Birkenau. Il fait partie des 209 hommes de 16 à 45 ans sélectionnés en gare de Cosel pour le travail forcé. Il est le seul survivant de sa famille.

En 1965, Clary obtint le rôle qui lui procura une célébrité internationale, celui du Caporal Louis LeBeau (un prisonnier français) dans la série télévisée Papa Schultz (Hogan's Heroes).