ہیمے یاما پہاڑی پر چودہویں صدی میں پہلا قلعہ بنا۔ 1580 کی دہائی میں جنگجو سردار تویوتومی ہیدیوشی نے اسے دوبارہ بنوایا، اور 1601 سے 1609 کے درمیان سردار اکیدا تیروماسا نے اسے آج کے عظیم قلعہ نما مجموعے میں بدل دیا، جس کا چھ منزلہ مرکزی برج تین چھوٹے برجوں سے جڑا ہے۔
اس کی چمکدار سفید پلستر والی دیواروں اور نفیس چھتوں کی وجہ سے اسے شیراساگی جو یعنی سفید بگلے کا قلعہ کہا جاتا ہے۔ خوبصورتی کے پیچھے ایک ہوشیار دفاعی بھول بھلیاں ہے: بل کھاتے راستے، بند گلیاں اور دروازے جو برج کی طرف بڑھتے حملہ آوروں کو الجھا دیتے تھے۔
ہیمیجی 1945 میں شہر پر بمباری اور 1995 کے کوبے کے بڑے زلزلے سے بچ گیا۔ 1993 میں یہ جاپان کے اولین یونیسکو عالمی ورثوں میں شامل ہوا، اور 2015 میں ایک بڑی بحالی مکمل ہوئی۔
