Krzyż był znany w większości kultur od najdawniejszych czasów. Wśród ludów starożytnych był znakiem astronomicznym, który oznaczał słońce lub strony świata. Na przykład czteroramienny krzyż wpisany w koło stosowany był przez ludy azjatyckie i germańskie. Oznaczał światło i słońce oraz cykl roczny, a także był wyobrażeniem zdrowia i życia.
W późniejszym czasie krzyż to przede wszystkim narzędzie służące do wykonywania wyroków śmierci na pospolitych przestępcach. Ukrzyżowanie było najokrutniejszą i haniebną karą śmierci, którą stosowali Rzymianie. Ten sposób karania przestępców znały również inne ludy, np. Persowie (por. Ezd 6,11; Est 2,23; 5,14; 9,13). W imperium rzymskim stosowano go wobec niewolników i przestępców, nigdy zaś wobec Rzymian. Karę tę zniósł Konstantyn Wielki, gdyż uważał, że śmierć Pana uświęciła krzyż, który przez to stał się znakiem zwycięstwa.
Dla chrześcijan krzyż jest znakiem Chrystusa, jest znakiem Jego męczeństwa i symbolem dokonanego odkupienia, a także godłem chwały. W pierwszych wiekach chrześcijaństwa, Kościół jednak nie używał publicznie krzyża z powodu prześladowań i z obawy przed profanacją ze strony pogan. Zamiast wizerunku krzyża używano monogramu lub symbolu. Od czasów Konstantyna, kiedy zaprzestano prześladowań, krzyż stał się chrześcijańskim znakiem zwycięstwa. Pierwotne krzyże nie posiadały wizerunku Chrystusa, pojawił się on dopiero w XVI w.
Wracając do krzyża, jako narzędzia męki, należy zaznaczyć, że w wybranym miejscu, najczęściej poza miastem, stały słupy, pale zakotwiczone w wydrążonych otworach w ziemi lub w skale. Po ogłoszeniu wyroku skazaniec otrzymywał poprzeczną belkę i szedł z nią na miejsce stracenia. W ten sposób został także ukrzyżowany w Jerozolimie Jezus z Nazaretu. Po śmierci Pana Jezusa pośpiesznie zdjęto Go z krzyża i złożono w grobie, aby nikogo nie zastał szabat, rozpoczynający się po zachodzie słońca. Po upływie szabatu, ówczesny świat obiegła wspaniała nowina: Chrystus zmartwychwstał!
A co z krzyżem? - Zapomniano o nim. Radość ze zmartwychwstania usunęła w cień narzędzia męki. Krzyż trafił do starej, nieczynnej już cysterny na wodę, wydrążonej w skale między bramą miejską a Wzgórzem Czaszki. Od czasu, kiedy na Golgocie zaczęto krzyżować, cysterna zmieniła przeznaczenie ze zbiornika wodnego na skład belek po skazańcach. Nikt nie wspominał krzyża przez blisko trzysta lat. W 70 r. po narodzeniu Chrystusa Jerozolima została zburzona. Święte miejsca związane z ostatnimi dniami ziemskiego życia Pana Jezusa zostały zniszczone, a wiele z nich znalazło się pod gruzami. Taki los spotkał również Golgotę - miejsce Ukrzyżowania i Grobu, którego kamienne ściany były niemym świadkiem Zmartwychwstania. Z biegiem czasu cysternę zasypano, a wzgórze zabudowano. W 135 r. miasto ponownie zostało doszczętnie zniszczone. Cesarz Hadrian kazać zasypać grubą warstwą ziemi Kalwarię i Grób Pański, a w miejscach tych postawić posągi Jowisza oraz Wenery.
Czas prześladowań Kościoła nie sprzyjał odnajdywaniu pamiątek po Chrystusie i Jego chwalebnej Męce. Dopiero równouprawnienie z religiami pogańskimi, przyznane chrześcijanom na mocy Edyktu Mediolańskiego (313 r.), otworzyło drogę poszukiwań cennych pamiątek związanych ze śmiercią Pana Jezusa oraz należącego się im kultu.
Drzewo Krzyża Świętego znalazło się w centrum czci oddawanej przez stulecia narzędziom męki Chrystusowej. Najstarszym świadectwem o nim jest wzmianka św. Cyryla, biskupa Jerozolimy z 347 r. W głoszonej katechezie wypowiada twierdzenie, że cząstki z drzewa krzyżowego zostały rozprowadzone po całym świecie (ówczesnym).