Em 2010, nasceu Olivia, sua primeira filha com a consultora de negócios Kimberly Brook . Dois anos depois, foi a vez de Joshua, segundo filho do casal. James e Kimberly ainda são pais de Annabel, nascida em 2014, e Emilia, de 2016. Gwendolyn, o caçula do ator, nasceu em 2018.
