این کاخ اقامتگاه تابستانی پهلوی دوم و همسرش فرح دیبا بود. ساخت این بنا بین سال‌های 1310- 1315 اجرا شد، اما سکونت در این کاخ به تدریج در طی سه سال صورت پذیرفت. نقشه‌ی بنا، توسط مهندس خرسندی، طاطاووسیان و بوریس روسی تهیه گردید. در تزیینات بنا هنر دست هنرمندان ایرانی کاملا مشهود است. گچبری‌های زیبای کاخ کار اساتیدی چون عبدالکریم شیخان، رضا ملائکه، حسین کاشی و غلامرضا پهلوان است.

ازدیگر هنرهای ارزنده ایرانی که دراین کاخ خودنمایی می‌کنند، می‌توان به مجموعه فرش‌های بافت دست هنرمندان کرمان، کاشان، یزد و مشهد اشاره نمود. سنگ‌های مرمر سرسراها از معادن یزد و تربت حیدریه تهیه شده و سنگ‌فرش کف‌ها توسط استاد لرزاده انجام گردیده‌است. شاخصه‌ی اصلی معماری داخلی و خارجی این کاخ تلفیق هنر ایرانی – اروپایی به کار رفته در آن است. کاخ سفید شامل 54 واحد مختلف از جمله 10 تالار بزرگ تشریفاتی است که تمامی این تالارها با الهام از کاخ‌های اروپایی به ویژه سبک اشرافی فرانسه تزیین شده‌است.

در فاصله‌ی سال‌های 49-1345 ساختمان کاخ تعمیر و بازسازی شد و طراحان فرانسوی طبق سلیقه فرح دیبا تزیینات داخلی کاخ را تغییر دادند، از جمله تبدیل گل‌خانه و زیرزمین به سالن سینما، افتتاح موزه‌ی اختصاصی فرح، ساخت انبار ظروف سلطنتی، راه اندازی بخش رخت‌شوی خانه در طبقه‌ی زیرین ساختمان، نصب آسانسور و تجهیز بنا  به سیستم‌های حرارتی - برودتی (فن کوئل)، نصب شیشه‌های ضد گلوله در بخشی از پنجره‌های طبقه هم کف جز مواردی است که می‌توان از آن‌ها یاد کرد.

شاخصه‌های هنری – معماری این موزه شامل:

شاه‌کار هنر سنگ در بخشی از نمای بیرونی و داخلی کاخ به وضوح خودنمایی می‌کند.

بارزترین هنر گچبری در این کاخ در تالارهای تشریفات و دفتر کار شاه با به نمایش درآوردن هنر لب شور (طلا اندود) برروی سقف موجود است.

بزرگ‌ترین بافت تاپ استری ابریشمی مربوط به قرن 17 میلادی این کاخ در سالن انتظار بزرگ به دیوار نصب است.

بیش‌ترین مجموعه از کلکسیون ظروف مارک رزنتال و کریستال‌های موزر در تالار غذاخوری طبقه هم کف به نمایش درآمده‌است.

قدیمی‌ترین تابلوی نقاشی رنگ روغن این کاخ با نام نبرد لوتزن اثر آنیلو فالکونه مربوطه به قرن 17 میلادی بر روی دیوار دفتر کار شاه نصب است.

بیش‌ترین مجموعه وسایل بازی و سرگرمی به ویژه میز اسنوکر ساخت کارخانه کوکس و یمان (انگلیس) مربوط به قرن 19 میلادی در سالن بیلیارد این کاخ چیدمان شده‌است.

از ویژگی‌های مهم تالار انتظار کوچک می‌توان به  نقاشی‌های دیواری سبک یونان باستان و وجود درب مستقیم ورود و خروج به محوطه بیرونی ساختمان اشاره نمود.

تولیدات کارخانه کریستین - دیور را می‌توان در اتاق خواب فرح دیبا در مجموعه ست تخت‌خواب و پرده‌ها مشاهده نمود.

بزرگ‌ترین فرش و لوسترها و بیش‌ترین مجموعه ظروف بالغ بر500 قطعه در تالار غذاخوری سرسرای طبقه دوم به نمایش در آمده‌است.

درخت نخل نقره‌ای و گلدان طلایی در مجموعه آثار موجود در تالار تشریفات به نمایش درآمده‌است.

تنها تابلوهای دوخت دورویه ابریشمی معروف به "هنر سو" کار کشور چین در تالار نشیمن خانوادگی موجود است.

در اتاق خواب شاه تنها ساعت برنزی که به عنوان جای آویز کلاه به همراه مجسمه برنزی با نام "قابیل از شکار برمی‌گردد" به مناسبت قرارداد الجزایر (بین ایران و عراق) در سال 1975 که از سوی بومدین رئیس جمهور وقت الجزایر در دوران پهلوی دوم به هر دو کشور اهدا شد را می‌توان دید.