A Bécs környéki Baumgartenben született 1862. július 14-én hét gyermek közül másodikként egy cseh származású aranyműves családjában. A szegénysorban élő fiút tizennégy éves korában felvették a bécsi iparművészeti iskolába, a mai egyetem elődjébe, ahol 1883-ig tanult. Nem kérdőjelezte meg az akadémikus módszereket, szorgalmasan másolta a szobrokat, dísztárgyakat, különösen Hans Makart munkái kápráztatták el, aki akkoriban a császárváros kedvence volt dekoratív hatású, akadémikus festményeivel.
Az iskolába járt Ernst nevű öccse és ott lett barátjuk Franz Matsch, ők hárman együtt kezdtek dolgozni. Egyre több megbízást kaptak: 1879-ben részt vettek a Ferenc József trónra lépésének harmincadik évfordulóján rendezett ünnepség dekorációjának elkészítésében, majd a Karlovy Vary-i fürdőház, a rijekai színház, a bukaresti nemzeti színház és királyi palota belsejének megtervezésében, festményeik láthatók Erzsébet császárné nyári rezidenciájában, a Hermes-villában, részt vettek a bécsi Burgtheater lépcsői fölötti freskó készítésében. Klimt 1888-ban Arany Érdemrendet kapott, tiszteletbeli tagja lett a müncheni és a bécsi egyetemnek.
Mélységesen megrázta apja és öccse 1892-ben bekövetkezett halála, művészete befelé forduló, mélyen individualista irányba mozdult el. Megkérdőjelezte az akadémikus festészetet, végül szakított Matschcsal, 1893-ban a bécsi akadémia professzornak jelölte, de nem nevezték ki. A következő évben azzal bízták meg, hogy készítse el a bécsi egyetem dísztermének falfestményeit. A csak a századfordulóra befejezett Fakultás-képei (Jogtudomány, Filozófia, Orvostudomány) óriási botrányt kavartak a rajtuk megjelenő meztelenség és homályos szimbolizmusuk miatt, végül ki sem állították őket; ez volt az utolsó állami megbízás, amelyet Klimt elvállalt. (A festmények 1945-ben megsemmisültek.)
1897-ben alapító tagja volt az akadémikus festészettel szembehelyezkedő bécsi Secession mozgalomnak, a csoport célja az volt, hogy fiatal művészeknek biztosítson bemutatkozási lehetőséget és a legjobb külföldi festők műveit mutassa be Bécsben. 1902-ben alkotta meg a Beethoven-frízt, amely az ember szenvedését és boldogságkeresését, a művészet általi megváltását ábrázolja. A 14. szecessziós kiállításra készült alkotást Klimt ideiglenesnek szánta, közvetlenül a falakra festette. A két méter magas és 35 méter széles művet a kiállítás után konzerválták és több is helyen őrizték, 1986 óta látogatható ismét a Szecesszió Házában.
1903-as itáliai utazásától számítják legsikeresebb, "arany" korszakát, amely a festményein előszeretettel használt arany háttérről kapta a nevét, a bizáncira emlékeztető szimbolika is az akkor tanulmányozott velencei és ravennai mozaikok hatására utal. Számos portrét festett, talán leghíresebb képe, a Csók mellett több alkotásán ábrázolt női alakokat. Az erotika leplezetlen ábrázolásában Egon Schielét követte, de - vele ellentétben - a nőiesség minden formáját megörökítette, a várandósságot éppúgy, mint az idősebb asszonyokat és a testi szépség elvesztését, mindezt összekapcsolva a természettel, annak ciklikus változásával. A tájképek is átívelnek életművén, 1901 körül erdős ligeteket, párás vízfelületeket festett, 1905-től inkább a kertek foglalkoztatták. Visszavonultan élt, kerülte a társasági életet, csak a családja és a művészet foglalkoztatta, egyszer azt mondta: aki meg akar tudni róla valamit, tanulmányozza a képeit.
1905-ben szakított a Secession csoporttal, de az irányzathoz hű maradt. Az egyre elismertebb mesternek 1910-ben a Velencei Biennálén, 1913-ban Münchenben, Budapesten és Mannheimben volt kiállítása, 1911-ben Élet és halál című képe díjat kapott a római világkiállításon. 1912-ben megválasztották az Osztrák Képzőművész Szövetség elnökének, 1917-ben a miniszter négyszer is elutasította kinevezését rendes tanárrá, ugyanakkor a Bécsi Képzőművészeti Akadémia tiszteletbeli tagjává választotta.
Bár soha nem nősült meg, 14 gyereke született. 1918 elején agyvérzés érte, jobb oldala lebénult. Dolgozni már nem tudott, életkedvét elvesztette, s miután elkapta a spanyolnáthát, tüdőgyulladás következtében halt meg 1918. február 6-án.
Életét több filmen is feldolgozták. Szőts István 1969-ben dokumentumfilmet készített róla, 2006-ban a Klimt című filmben John Malkovich személyesítette meg. A Hölgy aranyban című film, főszerepben Helen Mirrennel, azt a történetet dolgozta fel, ahogy egy zsidó asszony visszaszerzi a nácik által elorzott, családját illető Klimt-képeket.
Klimt arany díszítésű képeit a világ legdrágább festményei között jegyzik. Adele-Bloch Bauerről készült portréjáért 2006-ban 135 millió dollárt fizettek, ennyit korábban még soha nem adtak egyetlen festményért, tavaly Falusi kert című képe 48 millió fontért kelt el. Alkotásai népszerűségét jelzi, hogy dísztárgyakat és napi használati eszközöket is díszítenek képeivel.
Születésének 150. évfordulójára, 2012-ben több nagyszabású kiállítás mellett a Bécs Múzeum 400 darabból álló Klimt-rajzgyűjteményt mutatott be, akkor adták át felújított műtermét Hietzingben.
