De Palma urodził się w Bari, w starej części miasta, 27 stycznia 1876 roku jako trzecie z pięciorga rodzeństwa. Rodzina nie była zamożna, a w wieku pięciu lat Carmelo został sierotą po obojgu rodzicach. W wieku dziesięciu lat wstąpił do seminarium św. Mikołaja, a następnie studiował teologię w Neapolu, gdzie w 1898 roku przyjął święcenia kapłańskie.

Cierpiąc na bóle głowy, udał się na jakiś czas do Montecassino, do klasztoru benedyktynów, gdzie poznał Alfredo Ildefonso Schustera, przyszłego arcybiskupa Mediolanu i kardynała, beatyfikowanego przez św. Jana Pawła II w 1996 r.

Zainteresowany duchowością benedyktyńską chciał zostać mnichem, ale nie było to jego powołaniem, dlatego postanowił pozostać w kapitule bazyliki św. Mikołaja. W 1899 roku, oprócz dyplomu z teologii, uzyskał dyplom z literatury na Uniwersytecie w Neapolu. W 1902 roku wyjechał do Rzymu, aby ukończyć studia w Papieskim Kolegium Leonianum, a w tym samym roku został mianowany rektorem bazyliki św. Mikołaja.

Kiedy na polecenie Stolicy Apostolskiej bazylika św. Mikołaja została powierzona ojcom dominikanom, Sługa Boży, który był bardzo przywiązany do duchowości benedyktyńskiej, został mianowany kierownikiem duchowym sióstr benedyktynek św. Scholastyki w Bari, a także oblatów i oblatek św. Benedykta.

Poświęcił się również duszpasterstwu członków Akcji Katolickiej, kierownictwu duchowemu wiernych, zwłaszcza kapłanów i seminarzystów. Był niestrudzony w posłudze spowiedzi. Pod koniec życia pogorszyły się jego problemy zdrowotne: przewlekłe zapalenie jelita grubego, miażdżyca mięśnia sercowego i postępująca utrata wzroku.

W lutym 1961 roku po raz ostatni publicznie odprawił Mszę św. Od tej pory, z powodu osłabienia, mógł odprawiać Msze św. tylko w swoim pokoju, gdzie nadal służył spowiedzią. Zmarł w Bari 24 sierpnia 1961 roku z powodu niewydolności serca.

Cnotę wiary pielęgnował intensywnym życiem modlitewnym, w którego centrum była Eucharystia, celebrowana i adorowana, oraz nabożeństwo do Matki Bożej. Z tej wiary wypływało jego posłuszeństwo Bogu: „Moje dążenie - mówił - jest tylko jedno: zawsze pełnić wolę Boga; dziękujmy Mu więc w każdej chwili z zawsze żywą wiarą, wielkodusznie przyjmując to, co się Jemu podoba”.

Cnota nadziei zakorzeniła się w nim właśnie w zaufaniu do ojcostwa Boga, przez którego czuł się miłowany. Tę nadzieję zaszczepiał także innym, umiejąc pocieszać i zachęcać ludzi w trudnościach.

Heroicznie żył cnotą miłosierdzia. Hojnie pomagał osobom ubogim. Całą swoją energię poświęcał posłudze spowiednika i kierownika duchowego.