Sejak peristiwa Sumpah Pemuda gedung menjadi menjadi sepi penghuninya.

Para pelajar meninggalkan gedung Indonesische Clubgebouw karena sudah lulus belajar. 

Para pelajar tidak melanjutkan sewanya di tahun 1934.

Kemudian gedung ini disewakan kepada Pang Tjem Jam pada tahun 1934 hingga 1937 dijadikan sebagai rumah tinggal.

5. Toko Bunga, Tahun 1937 hingga 1948

Pada tahun 1937 – 1951 gedung ini disewa Loh Jing Tjoe.

Loh Jing Tjoe menyewa dan menggunakan gedung sebagai toko bunga.

Gedung digunakan sebagai toko bunga selama 11 tahun, pada tahun 1937 hingga 1948.

6. Hotel Hersia, Tahun 1948 hingga 1951

Pada tahun 1948 hingga 1951 gedung semula disewa sebagai toko bunga berubah fungsi menjadi Hotel Hersia.

7. Kantor Inspektorat Bea & Cukai,  Tahun1951 hingga 1970

Gedung Kramat 106 pada tahun 1951 hingga 1970 disewa sebagai perkantoran dan penampungan karyawan Inspektorat Bea & Cukai.

8. Museum Sumpah Pemuda, Tahun 197 hingga Sekarang

Gedung Kramat 106 mengalami pemugaran yang dilakukan oleh Pemda DKI Jakarta.

Pemugaran dilakukan pada tanggal 3 April hingga 20 Mei 1973.