Предыдущие клубы: Лидс Юнайтед, Свиндон Таун (оренда), Ньюкасл Джеймс Милнер начал свою карьеру в Лидс Юнайтед и забил пять раз в 48 матчах после прорыва в первую команду в 16 лет.
Джеймс перешел в Ньюкасл после вылета Лидса из Премьер-лиги.
Летом 2005 года он перешел в Астон Виллу на правах оренды и успешно провел сезон на Вилла Парк. Астон Вилла хотела оставить Милнера, но сделка так и не состоялась, по-этому игрок вернулся в Ньюкасл.
Джеймс Милнер стал регулярный игроком основы на Сент-Джеймс парк и продолжал им быть до конца сезона 07/08, после которого присоединился к Астон Вилле теперь уже на постоянной основе.