Urodził się 7 września 1805 r. w Śmiłowiczach, w ówczesnym powiecie ihumeńskim na Mińszczyźnie (obecnie Białoruś), w rodzinie Marcina Baranowskiego herbu Grzymała i Maryanny z Szalkiewiczów. Edukację rozpoczął w konwikcie szlacheckim, który był prowadzony przez księży misjonarzy z klasztoru w Śmiłowiczach. Kontynuował naukę w Publicznym Gimnazjum Klasycznym w Mińsku. Po jego ukończeniu w wieku 16 lat rozpoczął naukę na Wydziale Matematyczno-Fizycznym Uniwersytetu Wileńskiego. Do 1825 r. studiował matematykę i fizykę, a następnie, przez kolejne 3 lata, prawo na tej samej uczelni. W 1828 r. uzyskał stopień kandydata, co odpowiada dzisiejszemu doktoratowi. Wówczas rozpoczął pracę w biurze korespondencji zagranicznej Banku Polskiego w Warszawie. Chociaż czuł się Polakiem, nie angażował się w działalność towarzystw patriotyczno-politycznych, gdyż bardziej od polityki zajmowała go nauka. Kiedy jednak w nocy z 29 na 30 listopada 1830 r. wybuchło powstanie listopadowe, zgłosił się na ochotnika i chwycił za broń. Dwudziestopięcioletni Jan początkowo służył w Korpusie Gidów, a potem w 5. Pułku Ułanów. Oddział, w którym walczył, wchodził w skład sił gen. Girolama Ramorina i pod koniec powstania wycofał się do Austrii, gdzie został internowany. W efekcie Baranowski udał się na emigrację i tak Polacy stracili jeden z genialniejszych umysłów.

Na emigracji we Francji

Od 1832 r. Baranowski przebywał we Francji – w Gray, Lyonie i Chalon-sur-Saône. Wielu Polaków, którzy wyemigrowali z rodzinnych ziem, nie mogło się odnaleźć w nowej rzeczywistości. Obca kultura, język, zwyczaje, kłopoty ze znalezieniem zatrudnienia. Baranowski, znając języki francuski, niemiecki i rosyjski, doskonale dawał sobie radę. Już od początku pobytu na emigracji pracował jako ekonomista oraz handlowiec w domach towarowych. W 1837 r. przeniósł się do Paryża, gdzie podjął pracę kasjera i księgowego w Banku Jelski, Dussard et Compagne. Po zlikwidowaniu tej instytucji w 1843 r. został zatrudniony jako inspektor rachuby towarzystwa kolejowego Paryż-Rouen-Hawr. To był punkt zwrotny w jego życiu. Gdy pracował w towarzystwie, dokonał pierwszej dużej innowacji – i to księgowej. Opracował rewolucyjny system tzw. podwójnej buchalterii, który po uzyskaniu wysokiej oceny został wdrożony również przez inne francuskie towarzystwa kolejowe. W 1842 r. Baranowski zajął się także pracą nad wynalazkami – konstruował urządzenia mechaniczne, służące rachunkowości i kontroli. Działalności tej poświęcił się całkowicie w 1848 r., kiedy dobrowolnie zrezygnował ze stanowiska w towarzystwie kolejowym. Był prawdziwym innowatorem, a na swoim koncie ma siedemnaście francuskich patentów w wielu dziedzinach. Pierwszy raz został doceniony, gdy w 1849 r. na Wystawie Krajowej w Paryżu uzyskał medal francuskiego Towarzystwa Zachęty do Wynalazczości za maszynę do kontroli rachunków, tzw. tax machine. Otrzymał również Medal Ministra Robót Publicznych za kasownik biletów kolejowych, którego konstrukcja i zasada działania praktycznie nie różnią się od tych stosowanych w urządzeniach, z których dziś korzystamy. W 1851 r. na wystawie Powszechnej w Londynie został nagrodzony medalem za pomysłową maszynę do druku oraz kontroli biletów kolejowych, która umożliwiała wydrukowanie nawet 5 tys. biletów w ciągu godziny. Każdy bilet opatrzony był numerem seryjnym. Na wystawie Baranowski zaprezentował również: maszynę liczącą na bieżąco, nadającą się do wszelkich operacji rachunkowych, urządzenie do mechanicznego liczenia głosów oraz przyrząd służący do obliczania objętości przepływającego gazu, który nazwał gazomierzem. Jego najsłynniejszym wynalazkiem jest jednak bez wątpienia semafor. To wynaleziony w 1857 r. mechaniczny system sygnalizacji kolejowej, uruchamiany automatycznie przez jadący pociąg. Powodował on ustawienie się ostrzegawczej tarczy informującej maszynistę innego pociągu, że wjeżdża na tor, na którym jest już inny pojazd. Po raz pierwszy zastosowano semafor w tym samym roku na linii Paryż – Rouen. Urządzenie uznano za zadowalające, ale zbyt kosztowne. Nieco tańszą, zmodyfikowaną wersję zainstalowano w listopadzie 1857 r. na linii Paryż – St. Germain w pobliżu stacji Nanterre. Próby trwały przez kilka miesięcy i wypadły nader pomyślnie, podobnie jak następne, z jeszcze bardziej udoskonaloną wersją urządzenia na linii Paryż – Strasburg w pobliżu stacji Chelles, gdzie pociągi rozwijały znaczną prędkość (80 km/h). Spowodowało to zastosowanie systemu Baranowskiego na linii kolejowej Turyn – Genua (1858) oraz zainstalowanie kilkunastu jego urządzeń na lini Paryż – Bruksela. Semafor wypróbowywano też w Anglii na odcinku Hackney – Kingsland. Ostatecznie jednak system Baranowskiego się nie przyjął, zdarzały się bowiem przypadki, że francuscy kolejarze niszczyli urządzenia w obawie przed utratą pracy. Później rozwiązania oparte na pomyśle polskiego wynalazcy, według którego przejazd pociągu powodował podniesienie na jakiś czas ostrzegawczej tarczy, stosowano lokalnie na rozmaitych liniach kolejowych, m.in. warszawsko-wiedeńskiej.

Działalność Baranowskiego nie ograniczała się do techniki. Kiedy Francja po przegranej wojnie została zmuszona do zapłacenia państwu pruskiemu ogromnej kontrybucji, opracował nowatorski projekt tych spłat, który 11 marca 1871 r. przedstawił francuskiemu ministrowi finansów. Plan polskiego imigranta zakładał nie tylko spłaty w gotówce, ale również usługi, które Francuzi mieli wyświadczyć Berlinowi (takie jak prace architektów i urbanistów), oraz towary luksusowe. Taka forma została zaakceptowana i wdrożona, jednak bez jakiejkolwiek gratyfikacji dla pomysłodawcy. Nasz wybitny rodak poczuł się oszukany przez nowy republikański rząd i postanowił na zawsze opuścić Francję.

Przeprowadzka do Anglii

Rozgoryczony Baranowski przeniósł się w 1872 r. do Londynu, gdzie objął skromnie płatne stanowisko sekretarza miejscowego Towarzystwa Literackiego Przyjaciół Polski. Mając dużo czasu i znając doskonale języki, poświęcił się opracowywaniu słowników. W 1879 r. opublikował Vademecum de la langue française, które zostało przyjęte bardzo przychylnie w Anglii i we Francji. Wydawnictwo to rekomendował zaprzyjaźniony z Baranowskim Józef Ignacy Kraszewski na łamach warszawskiego czasopisma Kłosy. W 1880 r. naukowiec wydał The Student’s Anglo-Polish Grammar – podręcznik dla Anglików pragnących się nauczyć języka polskiego. W 1884 r. wydał pierwszy, nowoczesny słownik angielsko-polski – Anglo-Polish Lexicon. W trakcie opracowywania go wielokrotnie konsultował się korespondencyjnie z Kraszewskim. Opracowywał również słowniki pojęć inżynieryjnych. Pod koniec życia, w 1887 r., reklamował w Anglii projekt siłowni pływowej opracowany przez wszechstronnego polskiego wynalazcę działającego w Rosji – Aleksandra Ostrzeniewskiego. Zadbał również o udokumentowanie swych osiągnięć – przesłał te publikacje wraz z innymi papierami osobistymi do lwowskiego Ossolineum. Życiorys Jana Józefa Baranowskiego wraz z jego portretem ukazał się na łamach Kłosów.

Na ziemie polskie nie powrócił, zmarł 30 marca 1888 r. w Londynie. Baranowskiego określa się mianem najwybitniejszego wynalazcy Wielkiej Emigracji – ruchu emigracyjnego Polaków po upadku powstania listopadowego.