Když bylo Albertovi pět let, jeho otec mu ukázal kapesní kompas a Einstein poznal, že něco v „prázdném“ prostoru musí působit na střelku. Později tuto zkušenost popsal jako jednu z nejdůležitějších ve svém životě. Ačkoli pro zábavu stavět fyzikální modely a mechanická zařízení, byl považován za pomalého žáka, pravděpodobně kvůli dyslexii, ostýchavosti nebo velmi vzácné a neobvyklé struktuře svého mozku (což se ukázalo po jeho smrti). Později sám Einstein přisuzoval svoje objevy v teorii relativity právě této pomalosti. Říkal, že díky tomu, že přemýšlel o podstatě prostoru a času později než ostatní děti, mohl zapojit vyvinutější intelekt. Novější teorie o jeho duševním vývoji pokládají za příčinu Aspergerův syndrom, poruchu příbuznou s autismem.

Einstein se začal učit matematiku, když mu bylo asi dvanáct let. Traduje se pověst, že v matematice propadal, ale není to pravda. Příčinou je změna známkování, která způsobila v pozdějších letech zmatek. V době Albertova dospívání podporovali jeho intelektuální zájmy dva strýcové, kteří mu poskytovali knihy o vědě a matematice.

V roce 1894 poté, co zkrachovala Hermannova elektrotechnická firma, se Einstein přestěhoval s rodiči z Mnichova do Pavie v Itálii. Albert kvůli tomu nedokončil střední školu.

Ve svých 16 letech se přihlásil na přijímací zkoušky na Spolkovou technickou vysokou školu v Curychu. Ve fyzice a matematice sice dopadl na výbornou, ale propadl v ostatních předmětech. Bylo mu doporučeno dokončit střední školu a přihlásit se znovu. Odmaturoval na Kantonální škole. Při druhém pokusu již byl na curyšskou Polytechniku přijat. Téhož roku se zřekl německého občanství a zůstal bez státní příslušnosti.

Během studií Einstein potkal Milevu Maričovou, srbskou studentku a přítelkyni Nikoly Tesly. Během těchto let Einstein probíral své vědecké zájmy se skupinou blízkých přátel, včetně Milevy.

Po promoci nemohl Einstein najít žádné vysokoškolské učitelské místo, hlavně kvůli tomu, že jeho mladická drzost rozčilovala většinu jeho profesorů. Otec jednoho z jeho spolustudentů mu pomohl získat místo technického asistenta na švýcarském patentovém úřadu. Einstein tam posuzoval význam patentových přihlášek vynálezů, které vyžadovaly znalost fyziky.