Філіп Пулман народився 19 жовтня 1946 року в Норіджі, Норфолк, Велика Британія в сім'ї пілота Королівських ВВС Альфреда Отрама та Одрі Евелін Отрам в дівоцтві Мерріфілд. Сім'я часто переїжджала, і в дитинстві Філіпу Пулману довелося багато подорожувати по світу. Частину свого дитинства він, зокрема, провів у Південній Родезії (зараз Зімбабве), де він деякий час навчався в школі. У 1953 році, коли Пуллману було сім років, його батько загинув у авіакатастрофі. Мати Пуллмана знову вийшла заміж та сім'я переїхала до Австралії, а з 11 років проживав у Північному Уельсі, у свого діда, який був священиком.

Закінчивши школу Філіп Пуллман навчався в Оксфорді, в Ексетер-коледжі, де вивчав англійську філологію. Пізніше він повернувся до Оксфорду де 12 років працював учителем у різних школах, а потім викладав у Вестмінстер-коледжі — вів курси з вікторіанського роману та фольклору. З часом Пуллман залишив викладацьку роботу і повністю присвятив себе літературі.