Po śmierci Henryka Dobrzańskiego działał w Związku Walki Zbrojnej. W 1941 roku przeszedł do pracy w wywiadzie wojskowym. W tym czasie pod pseudonimami „Łukasz” i „Kwiecień” pełnił funkcję kuriera na trasie Warszawa – Wilno. W 1942 roku trafił do wywiadu wojskowego Armii Krajowej w Białymstoku.

Dwa lata później pod pseudonimem „”Horba” – Alicki Józef wrócił do partyzantki. Został ranny w starciu pod Wyżarami. W sierpniu 1944 roku awansował do stopnia podporucznika. Za zasługi odznaczony został przez ówczesnego dowódcę Armii Krajowej Tadeusza Bora-Komorowskiego Orderem Virtuti Militari V klasy, oraz dwukrotnie Krzyżem Walecznych.

Po wojnie Józef Alicki trafił do Poznania, gdzie rozpoczął pracę w Centrali Mięsnej. Rok później pracował już w Radomiu w tuczarni drobiu. Stamtąd trafił do Wrocławia a stąd do Torunia.

Józefa Alickiego sądzono zaocznie. Wyrokiem Sądu 25 listopada 1952 roku skazany został na 5 lat więzienia i utratę praw publicznych, obywatelskich praw honorowych na 3 lata (…) ”. „Sąd Wojewódzki w Białymstoku Wydział IV Karny postanowieniem z dnia 26 czerwca 1953 roku złagodził karę 5 lat więzienia o trzecią część do 3 lat i 4 miesięcy na mocy ustawy o amnestii z 22 XI 1952 roku”. 

Był inwigilowany, przez długi czas ze względu na swoją przeszłość oraz kontakty z Józefem Wyrwą „Furgalskim” i Romanem Rodziewiczem pozostawał w kręgu zainteresowań służb bezpieczeństwa. W jednej z tajnych notatek służbowych z 18.12.1974 roku czytamy: „ Alicki nie należy do ZBOWIDu. Mówił, że nie może należeć do organizacji, która skupia w swoich szeregach byłych wermachtowców. Nie jest też członkiem koła byłych „Hubalczyków”, ponieważ w jego mniemaniu, wielu członków tego koła nie ma żadnego związku z Hubalem i jak twierdzi Alicki nigdy go nie widzieli (…)”. 
We wniosku o założeniu kwestionariusza ewidencyjnego Józefa Alickiego, jako powód jego założenia podano: „Po zakończeniu wojny pozostał w dalszym ciągu w konspiracji. Utrzymuje kontakty z ludźmi o niejasnych poglądach politycznych. Reprezentuje negatywną postawę wobec obecnej rzeczywistości, utrzymuje kontakty zagraniczne z członkami byłego reakcyjnego podziemia”. 

Do Iławy przeprowadził się w 1955 roku a następnie od 1967 roku zamieszkał wraz żoną Ireną w Woli Kamieńskiej k. Iławy prowadząc własną farmę drobiu. Nigdy nie odmawiał pomocy zainteresowanym losami „Hubala”. Utrzymywał stały kontakt z Melchiorem Wańkowiczem, autorem książki „Dwie prawdy: Westerplatte i Hubalczycy” i Bohdanem Porębą, reżyserem filmu „Hubal”, w którym odtworzona została zresztą postać iławskiego ułana z Wiśniówka.