Josep Rovira Canals va néixer a Rubí (Barcelona) el 1902. Fill d’una família obrera, va començar a treballar als 13 anys d'ajudant de paleta.

A partir d’una primerenca consciència política i nacional va negar-se a participar en la guerra d'Àfrica, va desertar i va fugir a França. Allí va conèixer a Francesc Macià, que romania a l’exili durant la dictadura de Primo de Rivera. Amb Macià va treballar intensament en la preparació de l'anomenat "Complot de Prats de Molló" fallit intent de guerrilla armada independentista organitzada el 1926 per Estat Català i altres sectors del separatisme català, que havia de comptar amb el suport de la CNT amb vagues arreu del Principat.Participà concretament en la planificació d'un atac a la caserna de la guàrdia civil de Sant Pau d'Ordal i restà implicat pels fets de Prats de Molló. Rovira fou un dels principals instructors militars de Macià en l’experiència guerrillera fracassada.

En ser descoberts i detinguts molts dels conjurats separatistes i el seu nucli dirigent encapçalat per Macià, Rovira fugí i se n'anà a Bèlgica i després a Mèxic. Més endavant va romandre a Guatemala, on participà activament amb la guerrilla d’alliberament nacional guatemalteca contra els interessos imperialistes dels EEUU i l’oligarquia local. Rovirà instruí, a partir dels seus coneixements militars, els insurrectes de Guatemala. Un passatge que mostra el tarannà guerriller poc comentat de la seva biografia.

Tornà a la Catalunya del sud el 1932 i, després d'abandonar Estat Català amb Jaume Compte i Canelles, ambdós foren uns dels fundadors del Partit Català Proletari (PCP). Rovira, però, després ingressarà al Bloc Obrer i Camperol (BOC). Fou elegit membre del seu comitè executiu, càrrec que conservà posteriorment dins el Partit Obrer d'Unificació Marxista (POUM), i destacà com a principal animador del setmanari L'Hora.

A l'octubre de 1934, l'Aliança Obrera va aconseguir que es declarés la vaga general a tot Catalunya, una vaga coincident amb el 6 d’Octubre en què Lluís Companys va proclamar al República Catalana. A Barcelona, els GABOCS (Grups d'Acció del BOC), dirigits per Rovira, van desenvolupar una important activitat durant aquesta vaga.

Al setembre de 1935, quan es funda el POUM (fusió del BOC i de l'Esquerra Comunista de Nin), Rovira passa a formar part del comitè executiu. El 18 de juliol de 1936, el comitè militar del partit, dirigit per Rovira, organitza la intervenció armada dels primeres grups de combat poumistes que, juntament amb treballadors cenetistes i guàrdies d'assalt, a la matinada del diumenge 19 s'enfronten amb els militars revoltats als carrers de Barcelona.

Treballà dins el Comitè Central de Milícies Antifeixistes de Catalunya i fou l'organitzador de la columna Lenin, posteriorment divisió 29, que sota la seva direcció actuà al front d'Aragó. Fou detingut després dels fets de maig del 1937 fou posat en llibertat i actuà llavors clandestinament, fins que per l'octubre del 1938 fou empresonat de nou. Pogué fugir a l'exili pel gener del 1939. A França, participà en la Resistència contra el Tercer Reich i el 1944 fou un dels fundadors del Moviment Socialista de Catalunya (MSC).

En aquells anys, Rovira va ser més una dels principals animadors del Ateneu Enciclopèdic Popular de Barcelona, associació que va tenir un destacat paper en el moviment cultural català i obrer i especialment en la formació política de bastants joves obrers i estudiants barcelonins. En aquest centre actuava també llavors la jove Maria Manonelles, militant del BOC i després del POUM, que va ser més tard la companya de Rovira i va estar amb ell al juliol de 1936, al front i a l'exili.

En el Comitè Central de Milícies Antifeixistes, creat el 21 de juliol, Rovira és el representant del partit. A l'agost el CE decideix enviar a Aragó per prendre el comandament de totes les columnes poumistes que lluiten en els fronts de Saragossa i Osca. S'imposa immediatament com a cap militar i organitzador de combatents que són voluntaris i com a autèntic company de caràcter franc i oberta. Sota el seu comandament, l'avanç cap a Osca de la Columna Lenin, amb la victòria de Estret Cinquè i Mont Aragó, constitueix un exemple d'iniciatives audaces i intel · ligents.

Amb la militarització de les milícies, la Columna Lenin es converteix en la 29 ª Divisió i Josep Rovira segueix sent el seu comandant fins a juny de 1937.

El 16 de juny es va desencadenar la repressió estalinista contra el POUM, militants i dirigents, entre ells Andreu Nin, són detinguts per equips de policies a les ordres del partit comunista espanyol i de la GPU russa.

El mateix dia, dos batallons de la 29 ª Divisió participen en l'ofensiva general contra Osca i, tot i enormes pèrdues, arriben als objectius previstos. Rovira rep llavors dos missatges de l'Alt Comandament de l'Exèrcit de l'Est: el primer és per felicitar-lo pel coratge i brillant comportament de les forces a les seves ordres; el segon, per presentar-se al Quarter General de Barcelona. Es presenta i és detingut, no per les autoritats militars sinó per policies estalinistes. Davant les protestes dels caps de les Divisions 28 ª i 25 ª (confederals) que combaten al mateix front al costat de la 29a, Prieto, ministre de Defensa, intervé i, després de 20 dies de detenció, Rovira és posat en llibertat. Però les consignes de Stalin, transmeses pel cim del PCE i acatades en la pràctica pel govern republicà, són concretes: la 29a Divisió és dissolta al juliol en condicions infames i, donades les provocacions dels estalinistes, molt perilloses.

Només gràcies a l'experiència i a la serenitat dels oficials i soldats de la 29a s'aconsegueix evitar que esclatin enfrontaments sagnants. Malgrat això, i en contra dels propòsits dels altes comandaments comunistes, els oficials de la 29a Divisió són reconeguts com a tals i destinats a altres unitats de l'Exèrcit. Per desgràcia, els que van arribar a unitats controlades pel PCE ho van passar molt malament: alguns van ser immediatament assassinats.

El POUM es reorganitza en la clandestinitat, tant a la rereguarda com al front, on els seus militants seguiran combatent fins al final. El partit aconsegueix publicar i difondre la seva premsa i mantenir la seva activitat. Rovira és elegit membre del comitè executiu clandestí.

En els mesos següents, els estalinistes comencen a muntar l'anomenat "procés del POUM", a qui acusen d'haver actuat el servei de Franco, procés que, com és sabut, va resultar un rotund fracàs polític per al PCE i els agents russos. A l'octubre de 1938 Rovira va ser detingut i empresonat una altra vegada. Però no va ser inclòs en aquest procés, tot i que estava acusat de la participació en els fets de maig de 1937 i altres acusacions falses dels sectors estalinistes com haver ordenat llavors a les forces de la 29a Divisió abandonar el front per deixar pas lliure a les tropes de Franco. Però el seu procés no va poder arribar al seu terme perquè ho va impedir l'arribada de les tropes franquistes a Barcelona el gener de 1939. Rovira es trobava a la Presó Model, amb altres companys. Un comando poumista els va treure d'allà i va aconseguir fer-los passar a França quan les tropes feixistes s'acostaven ja a la frontera.

En l'exili, el POUM es va reorganitzar, mentre molts militants es trobaven en els camps de concentració francesos. Quan iniciada la II Guerra Mundial i el col·laboracionista Pétain governa des Vichy, militants poumistes són perseguits, empresonats, condemnats o deportats a Alemanya. Rovira aconsegueix conservar la llibertat i s'encarrega de l'ajuda als presos. És llavors quan, per combatre l’ocupació alemanya, organitza una xarxa que es dedica a fer passar presoners evadits, agents de la resistència i jueus perseguits,  a través del Pirineu.

El 10 novembre 1944 va tenir lloc a Tolosa de Llenguadoc una conferència general del POUM a l'exili, amb la participació d'una delegació de l'organització clandestina del partit a Espanya. El retrobament de molts militants representatius que havien donat proves de la seva combativitat i del seu coratge en aquells anys terribles provocar apassionats debats.

En aquest context, Josep Rovira, Joan Quer i altres membres del POUM van propiciar una escissió-evolució que va donar lloc al Moviment Socialista de Catalunya (MSC). Rovira va dinamitzar aquest MSC durant alguns anys.

Morí a París el 1968, i les seves restes van ser traslladades a Catalunya uns anys després.