1778 року він повінчався з колишньою маркізою Комартен. Вона померла в 1784 році, залишивши Джону дочку Августу (згодом місіс Лі), яку надалі виховували родичі її матері. Після смерті першої дружини капітан Байрон одружився вдруге, за розрахунком, на Кетрін Гордон (Пом.
У 1812 році, одразу після повернення із закордонної поїздки, лорд Байрон вперше зробив пропозицію Ганні Ізабеллі Мілбенк.
Джон БайронКетрін Гордон Джордж Гордон Байрон/Батьки
19 квітня 1824 р.Джордж Гордон Байрон / Дата смерті