Betszaidában született. Az Egyház hagyományában az ,,idősebb'' nevet kapta, hogy megkülönböztessék a Szent Fülöppel együtt május 11-én ünnepelt ,,fiatalabb'' Jakabtól, az ,,Úr testvérétől''. Zebedeus és Szalóme fia, Szent János evangélista bátyja volt.
Apjától örökölve a mesterségét, a halászatból élt. A 28. év tavaszán vagy nyarán látta meg őt Jézus, amikor a Genezáreti tó partján járva kezdte egyenként meghívni apostolait. Miután meghívta Pétert és Andrást, ,,folytatva útját megpillantotta Zebedeus fiát, Jakabot és testvérét, Jánost. Éppen hálójukat javították a bárkában apjukkal, Zebedeussal. Őket is hívta. Rögtön ott hagyták a bárkát apjukkal együtt és nyomába szegődtek'' (Mt 4,21).
Simon Péter és János mellett Jakab a harmadik, akinek az Úr különleges feladatot szánt: Simon a szikla, aki az apostolkollégium feje, az Egyház sziklaalapja lesz; János a szeretett tanítvány, aki legközelebb állt az Úrhoz; Jakab pedig az első vértanú az apostolok közül. Ezért kiváltságos helyzetekben -- a színeváltozáskor, Jairus leányának föltámasztásakor és a Getszemáni-kertben -- csak hármukat vette maga mellé Jézus.
Jakab egyébként robbanékony természetű volt. Szent Lukácstól tudjuk a következő esetet, amely mutatja, hogy Jakab tisztában volt vele, hogy Jézus mennyire más mester, mint a farizeus írástudók. Amikor úton Jeruzsálem felé a szamariaiak az egyik faluban nem voltak hajlandók szállást adni Jézusnak, Jakab az öccsével együtt felháborodva mondta: ,,Uram, ha akarod, lehívjuk az égből az Isten nyilát, hadd pusztítsa el őket!'' Ezért nevezte el Jézus e két tanítványát Boanergesznek, ami annyit jelent: a mennydörgés fiai.
Az Evangéliumból azt is tudjuk, hogy Jakab milyen odaadással várta Isten országát. Szalóme asszony a fiaival együtt odament Jézushoz és leborult előtte, hogy kérjen tőle valamit. Jézus megkérdezte: ,,Mit akarsz?'' ,,Intézd úgy -- felelte --, hogy két fiam közül az egyik jobbodon, a másik balodon üljön országodban.'' Jézus így válaszolt: ,,Nem tudjátok, mit kértek. Tudtok-e inni abból a kehelyből, amelyet majd én iszom?'' ,,Tudunk!'' -- felelték. Jézus így folytatta: ,,A kelyhemből fogtok ugyan inni, de a jobbomra és a balomra ülést nem az én dolgom adni. Az azokat illeti, akiknek Atyám szánta.'' A többi tíz ennek hallatára megneheztelt a két testvérre. Jézus azonban odahívta őket magához és így szólt: ,,Tudjátok, hogy akiket a világ urainak tartanak, zsarnokoskodnak a népeken, a hatalmasok meg a hatalmukat éreztetik velük. Köztetek nem így lesz. Hanem aki nagyobb akar lenni közületek, a szolgátok lesz, és aki első akar lenni, a rabszolgátok lesz. Az Emberfia sem azért jött, hogy neki szolgáljanak, hanem hogy Ő szolgáljon és odaadja életét váltságul sokakért.''
Jakabban jó talajba hullottak az Úr e szavai. Mestere halála után ő lett a jeruzsálemi egyház püspöke, s mint ilyen valóban ivott az Úr kelyhéből. Szent Pál tanúskodik arról, hogy megtérése után tizennégy évvel úgy ismerte meg őt, mint Péter és János mellett az Egyház ,,oszlopát" (Gal 2,1--10). Amikor Heródes Agrippa király 41--42-ben az Egyházra támadt, elsőként Jakabot ölette meg karddal. Ő lett az első vértanú az apostolok között.
A középkor egyik leghíresebb búcsújáró helye Szent Jakab sírja volt a spanyolországi Compostellában. A 8. századtól él az a hagyomány az Egyházban, hogy Jakab a mai Spanyolországig jutott el missziós útján. Egy későbbi, 13--14. századi leírás még azt is tudja, hogy igehirdetésének nem volt sok foganatja, el is veszítette Jakab a kedvét, sakkor megjelent neki Zaragozában a Szűzanya és megvigasztalta. E hagyomány a breviáriumba is belekerült: ,,Jézus Krisztus mennybemenetele után Jakab Júdeában és Szamariában hirdette Jézus istenségét és sokakat elvezetett a keresztény hitre. Ezután Hispániába ment, ahol néhány embert Krisztushoz térített, akik közül később hetet Péter apostol püspökké szentelt és Hispániába rendelt.''
Jakab hispániai jelenléte ereklyéi átvitelének köszönhető. Nem tudjuk, melyik évben vitték Jakab földi maradványait Jeruzsálemből Hispániába, valószínűleg az arabok pusztítása elől menekítették el őket a 7. század elején. A 9. századtól a hagyomány egyöntetűen vallja, hogy Jakab sírja Hispániában van. A legenda szerint a feledésbe ment sír helyét éjszaka csodálatos fény jelölte meg, s a megtalált sírt 800 óta egyre növekvő tisztelet vette körül. Először egy kis kápolnát építettek föléje, amit 899-ben III. Alfonz király kibővített. Az arabok 997-ben lerombolták, magát a sírt azonban megkímélték. 1075--1128 között épült az a bazilika, mely lényegében ma is áll. Szent Jakabot ,,Isten után a legjóságosabb és legerősebb pártfogónak" tisztelték. Érthető, hogy egész Európából zarándokoltak a sírjához.