A Budai Vár alatt elterülő barlangrendszer, mely a jégkorszak után a mészkő és az alatta elhelyezkedő márga találkozásánál mosódott ki a forrásvizek segítségével, már a középkortól kezdve otthont adott a helyi lakosoknak. A mintegy 10 km hosszú barlangrendszer kiépített része szolgált alapul a későbbi Sziklakórház létrejöttéhez.
A II. világháború közeledtével, 1939-től a barlangrendszer jelentős részét megerősítették és óvóhellyé alakították át. A „K” jelű riasztóközpont, amely a Várnegyed légoltalmi szirénáit működtette 1937-45 között, a későbbi Sziklakórház első kiépített területe lett. Mivel a Vár volt a „kormányzati negyed”, logikus lépésnek bizonyult egy bombabiztos segélyhely létrehozása a vári lakosok és tisztviselők gyorsabb orvosi ellátása érdekében.
Költségtakarékossági okokból a választás a korábban feltárt Úri utcai szakaszra esett, ahol a riasztóközpont építményét egészítették ki a segélyhellyel. A létesítmény kialakítása 1941 és 1943 között zajlott, és 1944. február 20-án megnyílt a Székesfőváros Sebészeti Szükségkórháza, három kórteremmel és egy korszerű műtővel.
A kórház megnyitásán jelen volt és ápolónőként is dolgozott özv. Horthy Istvánné Gróf Edelsheim-Gyulai Ilona, az I. Honvéd Hadtest vöröskeresztes főápolónője. A kórház főápolónője Andrássy Ilona grófnő volt.
A kórház igazán intenzíven az 1944. májusi amerikai légitámadások után került használatba, fő feladatává az általános sürgősségi ellátás vált, így ekkoriban főleg a légitámadásokban megsérülteket fogadta. A kórház műszakilag és orvostechnikailag korszerűnek számított, ám a melegítőkonyha jelentett gyenge pontot, amely a külső ellátás megszűnése után nehezen tudta biztosítani az önálló működést.
A kórházat a Szent János Kórház felügyelete alá rendelték, vezetőjének dr. Kovács István egyetemi adjunktust, sebész főorvost nevezték ki. Helyettese a szintén katonaviselt dr. Seibriger András sebészorvos lett. Az orvosi ellátást a Vöröskereszt önkéntes ápolónői segítették.

A 94 ágyas létesítmény Budapest 1944-45-ös ostroma idején teljesen megtelt. Kovács doktor jelentése szerint az ostrom alatt egyszerre 200-230 főt zsúfoltak össze. A szemtanúk beszámolói alapján, aki nem fért el a kórházban, a barlangrendszerbe nyíló átjárókon keresztül a barlangtermekben helyezték el. A halálozási arány igen magas volt a járványok, valamint az eszköz- és gyógyszerhiány miatt.
A sebesültek összetolt emeletes ágyakon feküdtek, gyakran hárman egy ágyon, míg mások az ágyak között hordágyon vagy szalmazsákon kaptak helyet. Elláttak itt német katonákat is, akik azonban nem feküdtek bent, valamint számos magyarországi német, sváb katonát, akiket a Waffen-SS kötelékébe kényszersorozással vettek be.
A kórházban 8 munkaszolgálatos orvos is tevékenykedett. Dr. Koppány Kálmán, a kerületi rendőrkapitány megakadályozta, hogy a nyilasok deportálják őket, átöltöztette őket magyar katonaorvosi ruhába, így nyugodtan tudtak dolgozni. A rendőrkapitány ezért a tettéért felkerült az Igazak Falára. Azonban 1944 novemberében árulás miatt két orvost elfogtak.
Az orvosok és nővérek sok ezer magyar katona és civil életét mentették meg. Az 1945. február 11-i kitörés után a járóképes betegek elmentek, a többieket pedig az 1945 júniusáig működő kórházból folyamatosan szállították el.
A Sziklakórházban élte túl az ostromot Friedrich Born, a Nemzetközi Vöröskereszt magyarországi delegátusa is. Ő menlevelet adott az ottani alkalmazottaknak és tárgyalt a szovjet parancsnoksággal a kórház működésének engedélyezéséről, mivel a felszíni kórházakban nagy károk keletkeztek és időbe telt a helyreállításuk.
A kórházat 1945 júniusában bezárták. Az orvosok egy része Nyugatra menekült. A kórház vezetője, dr. Kovács István és dr. Seibriger András, valamint dr. Kovács Istvánné, aki súlyosan megbetegedett, de penicillinnel meggyógyult, a kórház bezárását követően is tovább dolgoztak. A kórház felszerelését jórészt elvitték.
A létesítményt egy magáncég, a Vírus Oltóanyagtermelő Intézet vette bérbe, amely a háború után elterjedő kiütéses tífusz elleni oltóanyag gyártására összpontosított. Ez a tevékenység Magyarországon és a délkelet-európai régióban egyedülálló volt, így jugoszláv exportra is termeltek. Azonban 1948-ban a céget államosították és hamar fel is számolták.
Az 1950-es évek elején a kórházat újra felszerelték és titkosították, LOSK 0101/1-es rejtjelszámmal és „szigorúan titkos” minősítéssel. A titkosítást csak 2002-ben oldották fel.
Az 1956-os forradalom első napjaiban a kórház ismét megnyitotta kapuit, és ellátta a sebesült civileket, forradalmárokat és katonákat. A kórház vezetője a János Kórház sebésze, dr. Máthé András lett, akinek bátorsága és szakértelme sok életet mentett meg. Helyettese dr. Seibriger András volt, aki a disszidálás helyett a Sziklakórházat választotta. A forradalom napjaiban hat fiú és egy lány is született a kórházban.
1958-1962 között a létesítményt átépítették és kibővítették, hogy vegyi- vagy atomtámadás esetén is használható legyen. Kiépült az egészségügyi áteresz, lég- és vízkezelő rendszer, valamint egy közvetlen vízellátó és szivattyúrendszer a Dunához. A GANZ gyártmányú dieselmozdony-motorok és generátorok biztosították az energiaellátást külső áramforrás hiányában is.
A kórházat Szabó gondnok felügyelte, és a János Kórház kezelte. A tervek szerint kijelölt orvosai és ápolói túlélték volna a támadást a létesítményben, majd a sérülteket ellátták volna. A kórház légkondicionáló berendezéssel is rendelkezett, ami akkoriban egyedülállónak számított.
A haditechnikai fejlődés miatt a létesítmény az 1960-as évek végére elavulttá vált, de továbbra is a János Kórház gondozta, a Polgári Védelem pedig raktárként használta. Az orvosok és ápolók az 1980-as évek közepéig évente polgári védelmi gyakorlatot tartottak a kórházban.
Egy gondnok család 2004-ig lakott a szolgálati lakásban, és szigorú titoktartási kötelezettség mellett karbantartották a kórházat. 2004-től a János Kórház szakemberei végezték az időszakos karbantartást.
2004-2006 között a Krétakör Színház alkalmanként használta a létesítményt, és a 2006-os Kulturális Örökség Napján látogatható volt. 2007-ben a HM Hadtörténeti Intézet és Múzeum kezdeményezésére felújították, és 2008. március 11-től kiállításként tekinthető meg.
A Sziklakórházban számos orvos és ápoló dolgozott, akiknek élete összefonódott a háborús eseményekkel. Dr. Kovács István, a kórház főorvosa, habozás nélkül segítette a munkaszolgálatosokat. Andrássy Ilona grófnő 1944 januárjában kezdte főápolónői szolgálatát. Gróf Csekonics Endre önkéntes műtős asszisztensként dolgozott, és ő fordította magyarra a penicillin használati utasítását.
A háború alatt és után számos orvos és ápoló működött a kórházban, akiknek élettörténete tükrözi a kor nehézségeit és az emberi helytállás példáit. Dr. Németh Ottó, a Zala Vármegyei Szent Rafael Kórház főorvosa, aki 1968-ban diplomázott, több mint negyven éven át dolgozott a kórházban, a hagyományos szülészet értékeit képviselve.
A Sziklakórház története nem csak a katonai és orvosi események sorozata, hanem az emberi kitartás, az önfeláldozás és a remény szimbóluma is a háborúk sújtotta időkben.