Біла фарба не має нічого спільного з покриттям спаленого будинку англійцями в 1814 році. Будівлю вперше побіліли вапняною побілкою в 1798 році, коли закінчили її стіни, просто як засіб захисту пористого каменю від замерзання.
Початковий колір Білого дому був білий. За даними Історичної асоціації Білого дому, коли стіни були закінчені в 1798 році, вони були побілені. щоб пористий піщаник Aquia Creek не замерзав взимку.
Коли будівництво було завершено, стіни з пористого пісковику побілили сумішшю вапна, рисового клею, казеїну та свинцю, що надало будинку його звичний колір і назву.
У різні періоди історії Білий дім був відомий як «Президентський палац”, “Будинок президента” та “Особняк виконавчої влади”.
Під час президентства Дуайта Д. Ейзенхауера, Перша леді Меймі Ейзенхауер дуже любила рожевий колір. Таким кольором вона оновила приватні покої Білого дому. Особливий відтінок рожевого настільки асоціювався з нею, що його стали називати «Mamie Pink», або іноді «First Lady Pink».
Будівлю вперше збудували білий з вапняною побілкою в 1798 році, коли її стіни були закінчені, просто як засіб захисту пористого каменю від промерзання. Конгресмен Абія Бігелоу написав своєму колезі 18 березня 1812 року (за три місяці до вступу Сполучених Штатів у війну з Великою Британією):