Urodził się w Zułowie na Wileńszczyźnie w zubożałej rodzinie ziemiańskiej, w której pielęgnowano polskie tradycje narodowe. Na studiach medycznych w Charkowie związał się z socjalistyczno-rewolucyjnym ruchem „Narodnaja Wola”.

W 1887 r. Piłsudski został aresztowany pod zarzutem udziału w spisku zmierzającym do obalenia cara Aleksandra II i zesłany na pięć lat na Syberię. Po powrocie działał w litewskim oddziale Polskiej Partii Socjalistycznej, szybko stał się jednym z liderów. Wkrótce został redaktorem naczelnym „Robotnika” – organu prasowego PPS. Był wyjątkowo zdolnym organizatorem i publicystą, przy czym nie interesowały go kwestie doktrynalne. Opowiadał się za łączeniem haseł socjalistycznych z postulatem niepodległości Polski i przyciągnięcia do tej idei szerokich rzesz robotników.

Ponownie aresztowany zdołał uciec i zaangażował się w przygotowywanie planów powstania niepodległościowego. Z jego inicjatywy w 1908 r. powstał konspiracyjny Związek Walki Czynnej, który miał być zalążkiem późniejszej armii polskiej. Sam Piłsudski stanął jako komendant na czele jawnego Związku Strzeleckiego.

Za śmiertelnego wroga Polski uważał Rosję. Związał się więc z jej przeciwnikami – Niemcami i Austro-Węgrami. Po wybuchu I wojny światowej w sierpniu 1914 r. powstały Legiony Polskie. Piłsudski brał udział w ich tworzeniu i dowodził jedną z trzech brygad legionowych. Mimo że Legiony były skromną formacją wchodzącą w skład wojsk austriackich, odegrały ogromną rolę dla sprawy polskiej. Przez ich szeregi przeszło w latach 1914-17 kilkadziesiąt tysięcy żołnierzy, nabywając doświadczenia bojowego i stając się zaczynem armii, której młode polskie państwo najbardziej po swoim powstaniu potrzebowało.

Po obaleniu caratu w Rosji, w 1917 r. Piłsudski zmienił strategię. Po odmowie złożenia przysięgi na wierność cesarzowi Niemiec został aresztowany i osadzony w Magdeburgu. Już jako zwycięski dowódca polskich oddziałów cieszył się dużą popularnością. Osadzenie go w więzieniu, uznawane za niesprawiedliwe, tylko ją zwiększyło.

Po klęsce Niemiec, 11 listopada 1918 r., zwolniony z więzienia, udał się do Warszawy, gdzie otrzymał naczelne dowództwo nad polskimi wojskami oraz, jako Naczelnik Państwa, misję utworzenia rządu narodowego. Zdawał sobie sprawę z konieczności zjednoczenia głównych sił politycznych i wbrew swojemu środowisku szukał porozumienia z Narodową Demokracją.

Piłsudski marzył o wielkim państwie federacyjnym, nawiązującym do tradycji Rzeczypospolitej Obojga Narodów. W jego skład miałyby wejść, oprócz Polski: Litwa, Łotwa, Ukraina i Białoruś. Sąsiedzi jednak nie byli zainteresowani tworzeniem unii z Polską, a walki z nimi o granice uniemożliwiły takie porozumienie w przyszłości.

Od roku 1919 prowadził wojnę z bolszewicką Rosją. Punktem kulminacyjnym zmagań była Bitwa Warszawska w sierpniu 1920 r., w czasie której Piłsudski dowiódł swoich talentów wojskowych.

W maju 1926 r., uznając, że dotychczasowy układ polityczny szkodzi Polsce, zdecydował się na dokonanie zbrojnego przewrotu. Ogromne poparcie społeczne pozwoliło mu przez wiele lat sprawować rządy autorytarne w kraju.

Józef Piłsudski zmarł 12 maja 1935 r. Jego pogrzeb stał się ogromną manifestacją narodową. Ciało Naczelnika zostało pochowane na Wawelu, a serce zostało umieszczone w grobie jego matki na cmentarzu Na Rossie w Wilnie.