James Clerk Maxwell nació el 13 de junio de 1831 en el número 14 de la calle India, en Edimburgo, siendo hijo de John Clerk Maxwell de Middlebie, un abogado, y Frances Cay (la hija de Robert Hodshon Cay, y hermana de John Cay). Su padre era un hombre de familia acomodada, siendo el sexto barón de Clerk de Penicuik. De nacimiento, su nombre fue solo John Clerk, añadiendo el Maxwell tras heredar la hacienda de Middlebie gracias a sus conexiones con la propia familia Maxwell. James era primo de la artista Jemima Blackburn,​ así como del ingeniero civil William Dice Cay, con quien tenía una muy buena relación y que sería su padrino cuando James se casó.

Los padres de Maxwell se conocieron y casaron en la treintena de edad, y su madre tenía casi cuarenta años cuando él nació. Antes ya habían tenido otro vástago, una niña llamada Eli.

Cuando Maxwell era aún joven, su familia se mudó a la casa Glenlair, que sus padres habían construido en las 610 hectáreas de terreno que comprendía la hacienda Middlebie.​ Todo apunta a que Maxwell mostró una insaciable curiosidad desde muy corta edad. Ya a los tres años, preguntaba sobre el funcionamiento y utilidad de cualquier cosa que se moviese, brillase o emitiese ruido. Tal y como describió su madre en un pasaje añadido a una de las cartas de su marido:

“Es un hombrecito muy feliz, y su condición ha mejorado mucho desde que se moderó el tiempo; se interesa mucho por puertas, llaves y cerraduras, y el “enséñame cómo funciona” nunca sale de su boca. También investiga las partes ocultas del cableado, la forma en la que el agua llega de la pared al estanque…”