Varga Imre Siófokon született 1923. november 1-jén. Középiskoláit a székesfehérvári és budai cisztercitáknál kezdte, majd Szombathelyen fejezte be. Középiskolás diákként, 1937-ben festményekkel és rajzokkal csoportos kiállításon szerepelt Párizsban. A katonai akadémián aeronautikából diplomázott, a második világháborúban repülőtisztként szolgált. Amerikai hadifogság után, 1945-ben tért vissza Magyarországra. 1949-ben gyári munkásként helyezkedett el Budapesten. Pátzay Pál szobrászművésszel való véletlen találkozása után vették fel a Magyar Képzőművészeti Főiskolára, ahol Pátzay mellett Mikus Sándor volt a mestere.
Első figyelmet keltő műve az 1965-ben bemutatott Prométheusz című krómacél szobor volt, amely később az antwerpeni Middelheim Szabadtéri Szobormúzeumba került. 1967-ben nyílt első egyéni kiállítása Budapesten, 1972-ben a Tihanyi Múzeumban mutatkozhatott be gyűjteményes tárlatával, ettől kezdve Európa majdnem minden rangos képzőművészeti eseményén részt vett munkáival.
Varga Imre a szobrászat minden ágazatában aktív alkotó volt, de munkásságának legjelentősebb területe a köztéri, monumentális kompozíciók tervezése és kivitelezése volt. Közterületen, természeti és épített környezetben, valamint a közösségi rendeltetésű épületek belső tereiben elhelyezett, dinamikus térszervezésű szobrászati alkotásokat készített. Érzékenyen megmintázott, a klasszicizáló jellegű szemléletet és a gyakran felbukkanó pop-art elemeket szellemesen ötvöző, a hagyományos posztamenset elvető, a környezetbe illesztő alkotásait mély érzelmi töltet hatja át.
A 60-as évek végétől erőteljessé váló, a hagyományos emlékműszobrászat szemléletét megváltoztató, a figurativitás határait csak ritkán átlépő szobrászatának legfontosabb jellemzője a hősök emberközeli szituációba helyezése, az emberi, hétköznapi vonások hangsúlyozása volt. Emlékműszobrászatának központi alakjai a történelem, valamint a magyar kultúra, művészet kiemelkedő alakjai. 1983 óta látogatható állandó kiállítása az óbudai Laktanya utcában.
A kortárs magyar szobrászművészetet, a klasszicista-realista eszményt iskolateremtő módon újította meg, monumentális szoborkompozíciói kultúrtörténeti jelentőségűek. Legismertebb magyarországi köztéri alkotásai: József Attila (bronz, 1964, Szeged); Radnóti (bronz, 1970, Mohács, Salgótarján); Az alapító (bazalt, aranyozott krómacél, 1972, Tihany); a Károlyi Mihály-emlékmű (bronz, 1975, Budapest, Kossuth tér, most Siófok); Derkovits (bronz, 1977, Szombathely); Prométheusz (krómacél, bazalt, 1978, Szekszárd); Liszt Ferenc (krómacél, hegesztett réz, 1983, Pécs); Professzorok (bronz, 1984, Debrecen); Várakozók (bronz, 1986, Budapest); Kálmán Imre (bronz, krómacél, márvány, 1997, Siófok); Hazatérés (bronz, 2003, Nyíregyháza); Krúdy (2004, Siófok); Arthur Koestler (bronz, márvány, 2009, Budapest); Radnóti (bronz, fa, 2009, Budapest).
Külföldi alkotásai közül jelentős a Szent István felajánlja a koronát Szűz Máriának című alkotása (1975, magyar kápolna a Szent Péter-bazilika altemplomában, Róma); a Csodaszarvasok, Mária, a magyarok nagyasszonya, Szent István (vörösréz-domborítás, vörösréz és aranyfüstlemez, bronz, krómacél, 1980, Róma, magyar kápolna); Szent István (bronz, 1993, Aachen, dóm); Szent László-mellszobor (aranyozott bronz, 1996, Aachen); Bartók Béla (bronz, 1995, Brüsszel).
Varga Imre munkásságát számos díjjal, köztük Munkácsy-, Kossuth- és Herder-díjjal, érdemes és kiváló művészi címmel, a Magyar Érdemrend középkeresztjével, Prima Primissima díjjal tüntették ki. A Berlin-Brandenburgi Művészeti Akadémia egykori levelező tagja volt, kitüntették a Német Szövetségi Köztársaság I. osztályú érdemrendjével, a brit Jean Masson Davidson-díjjal, az Olasz Köztársasági Érdemrend Tiszti Keresztjének lovagi fokozatával, a Francia Köztársaság Művészeti Érdemrendje Parancsnoki Jelvényével. Varga Imre Hajdúböszörmény és Siófok díszpolgára.
A neves művész hosszan tartó, türelemmel viselt betegség után december 9-én hunyt el otthonában. Varga Imre a nemzet művésze, több magas hazai és külföldi állami kitüntetés birtokosa, a kortárs magyar szobrászművészet iskolateremtő megújítója, a klasszicista-realista eszményt újraértelmező monumentális szoborkompozíciói kultúrtörténeti jelentőségűek. Hazai és külföldi tereken, templomokban, középületekben több száz alkotása látható. Szobrai állnak Belgiumban, Franciaországban, Lengyelországban, Németországban, Norvégiában és Izraelben. Temetése végakaratának megfelelően szülővárosában, Siófokon történik.