Ma s-a născut în oraşul Hangzhou din provincia chineză Zhejiang. Când era copil, şi-a dorit să înveţe limba engleză şi, pentru a-şi împlini ţelul, mergea cu bicicleta 45 de minute în fiecare zi spre un hotel din apropierea locului în care trăia pentru a conversa cu turiştii de acolo. Ma le oferea acestora servicii de ghid fără să le ceară bani, doar pentru a-şi îmbunătăţi cunoştinţele de limba engleză.

Ulterior, a urmat cursurile Hangzhou Teacher's Institute, unde a fost acceptat la a patra încercare, după ce a picat de trei ori examenul. Le-a absolvit în 1988, obţinând astfel licenţa în Limba Engleză. După studii, a devenit lector universitar la catedra de engleză şi comerţ universitar din cadrul Universităţii Hangzhou Dianzi. Ulterior, Jack Ma a renunţat la cariera de profesor şi şi-a înfiinţat propria firmă de traduceri, profitând astfel de intensificarea comerţului dintre China şi Statele Unite ale Americii.

A ajuns astfel să viziteze Statele Unite ale Americii, iar, în perioada în care se afla acolo, un prieten i-a arătat modul în care funcţionează internetul. Amicul său i-a spus că totul se află pe internet şi, pentru a testa acest lucru, Ma a dat o căutare după cuvântul bere. Rezultatele nu i-au oferit vreun rezultat din China. De fapt, nu a găsit aproape nimic despre ţara sa pe internet. Această experienţă i-a dat ideea fondării unei noi afaceri. În 1995, la întoarcerea în ţară, Ma a pus bazele China Pages, un site prin care centraliza companiile chinezeşti căutate de clienţii din străinătate şi despre care se spune că este prima afacere în mediul online a ţării.

Prima sa companie a fost totuşi un eşec, astfel că, în 1998 - 1999, a preluat conducerea unei companii din domeniul tehnologiei informaţiei fondate de Centrul de Comerţ Electronic Internaţional din China, un departament al Ministerului de Comerţ Exterior şi Cooperare Economică. În 1999, Ma a pus bazele Alibaba, un site business-to-business care serveşte în prezent mai mult de 79 de milioane de membri din peste 240 de ţări şi teritorii. În noiembrie 2012, volumul tranzacţiilor online al Alibaba a depăşit un trilion de yuani, după acest prag Ma fiind etichetat drept ”Trillion Hou„, expresie chinezească ce se traduce ”Marchizul trilionului de yuani„.

În prezent, Jack Ma a trecut în fruntea clasamentului celor mai bogaţi oameni din China, după ce l-a întrecut pe deţinătorul grupului de centre comerciale şi cinematografe Wanda, Wang Jianlin, a cărui avere este evaluată la 24,2 miliarde de dolari. Fondatorul Alibaba ocupă locul 24 în clasamentele celor mai bogaţi oameni din lume întocmite de Forbes şi Bloomberg. În prezent, Jack Ma este preşedinte executiv al grupului Alibaba, format din nouă subsidiare importante - Alibaba.com, Taobao Marketplace, Tmall, eTao, Alibaba Cloud Computing, Juhuasuan, 1688.com, AliExpress.com şi Alipay.