Роден е в Лондон в семейството на Самуел Бейкър, успял търговец на захар,
банкер и корабовладелец, действащ в Западните Индии. Брат е на
Самуел Бейкър, изследователя на Нил и на
Валънтайн Бейкър - британски и османски офицер. Учи в Колегиалното училище в Глостър и в
Кеймбриджкия университет. През 1855 г. Бейкър се жени за Сара Луис Уайт. Влиза в
Индийския флот през 1845 г., участва в проучване на брега на
Арабско море и в ликвидирането на търговията с роби. По-късно се присъединява към
Британската армия и взима участие в
Кримската война. През 1875 г. е пенсиониран с чин подполковник.