Kard. Polycarp Pengo urodził się 5 sierpnia 1944 w mieście Mwazye w regionie Rukwa w południowo-zachodniej Tanzanii (wówczas była to Tanganika) w wielodzietnej rodzinie (miał czterech braci i cztery siostry). W latach 1957-59 uczęszczał do przygotowawczego seminarium duchownego w mieście Karema, a następnie, do 1964, do seminarium niższego w Kaengesa, po czym w latach 1965-71 kształcił się w wyższym seminarium duchownym w mieście Kipalapala. 20 czerwca 1971 przyjął święcenia prezbiteratu jako kapłan swej rodzimej diecezji Sumbawanga.

Początkowo przez dwa lata był sekretarzem miejscowego biskupa, a następnie w lipcu 1973 wyjechał na studia na Papieskim Uniwersytecie Laterańskim w Rzymie, uzyskując w 1977 doktorat z teologii moralnej. Po powrocie do kraju wykładał ten przedmiot w swym dawnym seminarium w Kipalapali, ale już po 9 miesiącach, w 1978 został pierwszym rektorem nowo powstałego wyższego seminarium duchownego w Segerea.

11 listopada 1983 św. Jan Paweł II mianował 39-letniego wówczas kapłana biskupem diecezji Nachingwea i osobiście udzielił mu sakry 6 stycznia następnego roku w Watykanie. Nowy biskup przyjął jako swe hasło słowa "Ecce ego, Domine" (Oto jestem, Panie). W niespełna 3 lata później - 17 października 1986 papież powołał go na pierwszego biskupa utworzonej w tym dniu diecezji Tunduru-Masasi, skąd 22 stycznia 1990 przeniósł go na stanowisko arcybiskupa koadiutora Dar es-Salaam - w tym charakterze witał on Ojca Świętego w czasie jego podróży do Tanzanii 2 września 1990. Arcybiskupem metropolitą tej archidiecezji został 22 lipca 1992 r. Na konsystorzu 21 lutego 1998 św. Jana Paweł II włączył go w skład Kolegium Kardynalskiego.

Jako biskup i kardynał P. Pengo brał udział w wielu ważnych wydarzeniach Kościoła w swoim kraju, w Afryce i w Kościele powszechnym, m.in. w obradach Synodu Biskupów (był członkiem Rady Sekretariatu Generalnego Zgromadzenia Specjalnego Synodu dla Afryki w 1994). W latach 2007-13 był przewodniczącym Sympozjum Konferencji Biskupich Afryki i Madagaskaru (SECAM/SCEAM). W kwietniu 2005 i w marcu 2013 wziął udział w dwóch konklawe, które wybrały najpierw Benedykta XVI a następnie Franciszka. Papież Ratzinger powołał 23 lutego 2012 purpurata z Tanzanii do Rady Kardynałów ds. Zbadania Organizacyjnych i Gospodarczych Problemów Stolicy Apostolskiej.

Kard. Pengo ustąpił z urzędu arcybiskupa Dar es-Salaam 15 sierpnia 2019. Już po przejściu w stan spoczynku 20 czerwca 2021 otrzymał z rąk prezydenta Suluhu Hassana najwyższe odznaczenie Tanzanii.

Jak poinformował abp Thaddaeus R. Ruwa'ichi, uroczystości żałobne rozpoczną się 27 lutego w katedrze św. Józefa w Dar es Salaam. Dzień później odbędzie się pogrzeb kardynała.

Po śmierci kard. Polycarpa Pengo Kolegium Kardynalskie liczy 244 członków, w tym 121 posiadających prawo do udziału w ewentualnym konklawe, oraz 123 pozbawionych tego prawa. Najmłodszymi kardynałami są 46 letni biskup Ukraińskiego Kościoła Greckokatolickiego w Australii, Mykoła Byczok i 51 letni Włoch, prefekt apostolski Ułan Bator, kard. Giorgio Marengo. Najstarszymi natomiast liczący 100 lat emerytowany nuncjusz apostolski, Włoch, kard. Angelo Acerbi oraz 99. letni Ugandyjczyk, emerytowany arcybiskup Kampali, kard. Emmanuel Wamala.