National Gallery, Paris'teki Louvre ve Madrid'deki Prado Müzesi'nin aksine halihazırda mevcut bir kraliyet ya da özel koleksiyonuyla kurulmamıştır. 1824 yılında İngiliz hükümetinin bankacı bani John Julius Angerstein'dan 36 tablo satın almasıyla hayata geçmiştir. Bu tablolar müzenin ilk koleksiyonunu oluşturur. Müzenin o zamanki yöneticisi Sir Charles Lock Eastlake'in çabaları ve yapılan bağışlar müzenin koleksiyonunun üçte ikisini oluşturur. Sonuç olarak, Avrupa'daki diğer ulusal galerilerle karşılaştırıldığında küçük boyutta bir koleksiyona sahip olmasına rağmen, önemli parçaları toplayabilmesi ve Giotto'dan Cézanne'e geniş bir yelpazeyi kapsayabilmesi ile ünlenmiştir. Bir dönem, Avrupa'da kendi kalıcı koleksiyonunu sergileyebilen birkaç galeriden birisi olmuştur.

Trafalgar Meydanı'nın kuzey kıyısında bulunan müzenin ön yüzünün mimarı William Wilkins'tır ve yapıldığı günden beri aynı kaldı. Sainsbury Kanadı, Robert Venturi ve Denise Scott Brown tarafından genişletildi. Bu eklentiler postmodern mimarinin önemli örneklerindendir.