„Do ‘Panienki’ jeszcze chodzicie?” - zapytał kiedyś papież-Polak grupę pielgrzymów z Kóz, która przybyła do Watykanu.

Historia miejsca sięga 1908 roku, kiedy powstała kapliczka ufundowana przez Józefę Naglik, żonę ówczesnego wójta Jędrzeja Naglika. To ona najprawdopodobniej sprowadziła z Tyrolu pierwszą figurę Matki Bożej Niepokalanej i wykupiła sąsiednią łąkę na cele kultu. Około 1910 roku umieszczono w kaplicy figurę Maryi, wcześniej znajdującą się w bocznym ołtarzu kościoła parafialnego, ufundowaną przez Teresę Reczko. Przy kapliczce od pokoleń gromadzą się wierni. Procesje do „Panienki” były zakazane w czasach okupacji i PRL-u, powróciły na stałe dopiero w latach 90.

Dziś znajduje się tu replika naturalnej wielkości figury Matki Bożej. Oryginał umieszczono w kościele śś. Apostołów Szymona i Judy Tadeusza.

Miejsce to nawiązuje swoim charakterem do francuskiego Lourdes - obok kapliczki bije źródło, nad drzwiami umieszczono kamienną tabliczkę z napisem „Boże zbaw Polskę”, który w latach 40. zmieniono na „Matko nie opuszczaj nas”. W 2008 roku, z okazji 100-lecia powstania kaplicy, obok wybudowano dzwonnicę.

27 sierpnia 2000 roku figura Matki Bożej została uroczyście ukoronowana koronami biskupimi przez kardynała Franciszka Macharskiego - wikarego w Kozach w latach 1950-1956, a późniejszego metropolitę krakowskiego. Wydarzenie to miało miejsce w Roku Wielkiego Jubileuszu Odkupienia oraz w stulecie poświęcenia kamienia węgielnego pod budowę kościoła parafialnego (1900).

Na tę okazję wykonano ze złota i szlachetnych kamieni koronę. Materiał jubilerski - obrączki, kolczyki, naszyjniki oraz datki pieniężne - ofiarowali sami parafianie, składając swe rodzinne precjoza w darze Maryi. Parafia, wspominając tamte wydarzenia, udostępniła ostatnio w mediach społecznościowych archiwalne fotografie, przypominając, że wiosna 2000 roku była czasem intensywnych przygotowań duchowych i materialnych.

Poprzedziły je ośmiodniowe misje bernardyńskie, ożywione nabożeństwa maryjne, praktyka rodzinnego różańca, powstawanie nowych róż różańcowych i nabożeństwa pierwszych sobót miesiąca. Równolegle prowadzono przygotowania materialne.

Parafia w Kozach zapisała się szczególnie w dziejach Kościoła lokalnego i powszechnego. To tutaj, oprócz śp. kard. Macharskiego, pracowali jako neoprezbiterzy m.in. obecny biskup bielsko-żywiecki Roman Pindel oraz biskup pomocniczy archidiecezji Chicago w latach 2011-2023 Andrzej Wypych. W Kozach duszpasterzował także śp. ks. Franciszek Żak, który ochrzcił Karola Wojtyłę w Wadowicach.