Interesul lui pentru chimie s-a născut după întâlnirea cu un chimist care făcea spectacole stradale din experimentele chimice în schimbul a zece cenţi. Little a început să experimenteze el însuşi în laboratorul şcolii, iar în 1881 a fost acceptat în cadrul Institutului American de Tehnologie din Massachusetts (MIT). S-a dovedit a fi un student talentat şi un cercetător iscusit, dar şi un bun comunicator, după ce a fondat revista campusului, The Tech.

Totuşi, în cel de-al treilea an de facultate a fost nevoit să abandoneze studiile după ce i s-a oferit un post în cadrul companiei producătoare de hârtie Richmond Paper, iar familia lui avea dificultăţi financiare şi nu mai putea să îi finanţeze studiile. Little a fost promovat rapid în cadrul companiei, de la chimist începător la supraveghetor al fabricii. În cadrul Richmond Paper l-a întâlnit pe partenerul care avea să îl conducă spre consultanţă, Roger Griffin.

Au deschis împreună laboratorul de analize Griffin şi Little: Ingineri Chimici. Compania s-a specializat în analize chimice pentru controlul calităţii. După moartea lui Griffin în urma unui accident de laborator, în 1893, Little a fondat Compania Produselor de Celuloză care avea ca activitate dezvoltarea de aplicaţii practice pentru celuloză. În 1900, Little a făcut un nou parteneriat, cu William Hultz Walkers de la departamentul chimic al MIT. În 1905, parteneriatul s-a încheiat ca urmare a întoarcerii lui Walker la conducerea Departamentului de Cercetare de Ştiinţe Aplicate de la MIT.

În 1909, Little s-a lansat pe cont propriu şi a creat compania Arthur D. Little (ADL). Făcea în cadrul acesteia studii analitice, precursoarele studiilor pentru care firma a devenit apoi faimoasă. Succesul a venit în 1911, după ce a obţinut un contract cu General Motors. Little avea ca misiune organizarea primului departament de cercetare al companiei. În 1916, Canadian Pacific Railway i-a solicitat lui Little un studiu complex asupra resurselor naturale ale Canadei.

Până în 1918, compania lui făcuse peste 16.000 de cercetări. Ceea ce începuse ca un laborator de analize s-a transformat într-o companie cu vaste opereţiuni de cercetare industrială, cu specialişti care lucrează în numeroase departamente. Ideea  lansată de Little, conform căreia inovaţia aduce afaceri profitabile, rămâne principiul fundamental al consultanţei moderne.