Sekolah ini dahulunya dikenali sebagai Sekolah Lanjutan
iaitu menampung pelajar-pelajar yang lulus darjah enam. Sesiapa yang lulus
darjah enam ketika itu dianggap pelajar yang hebat dan pandai. Malahan ada
diantara mereka yang berjaya pada awalnya hanya lulus tahap ini. Kemudian
menyambung pelajaran dan berjaya dalam bidang yang
diceburi.
Sekitar tahun 1964, bangunan baru dibina. Ia dikenali
sebagai bangunan Khir Johari kerana pada ketika itu Menteri Pelajaran ialah En.
Khir Johari. Rupa bentuk bangunan yang dibina ketika itu adalah seragam di
seluruh negara.Bangunan ini didirikan dengan menggunakan bahan binaan batu bata
dan batu blok simen yang tidak diplaster.
Sukatan Pelajaran pada ketika itu hanya tertumpu kapada mata pelajaran
kemahiran tangan seperti membuat bakul, menganyam tikar dan barang kraf yang
lain. Pada tahun 1965 mata pelajaran seni perusahaan mula di perkenalkan apabila
bangunan baru siap dibina.
Apabila bangunan siap dibina, ia telah beroperasi
sepenuhnya pada tahun 1965, sekolah ini dikenali dengan nama Sekolah Menengah
Rendah Kebangsaan Kuala Lipis atau singkatannya SEMARAK. Jarak sekolah ini
dengan bandar Kuala Lipis ialah 2 kilometer melalui Jalan Lipis – Benta. Sekolah
ini menerima pelajar-pelajar aliran Melayu di peringkat menengah.Ketika itu
tidak ada langsung sekolah menengah Melayu di kawasan ini.Kebanyakannya pelajar
di sekolah ini berasal dari kampung-kampung berjauhan dan sukar ke sekolah
seperti mereka yang tinggal di perkampungan tepi sungai ( Sungai Jelai ) dan di
pinggiran jalan kereta api dari Kuala Lipis ke Jerantut. Mereka ini diperingkat
sekolah rendah daripada SK Kuala Lanar, SK Kuala Kenong, SK Jeram Bungor, SK
Kuala Kechau, SK Kerambit, SK Limau Purut, SK Tanjung Yong,SK Jeram Landak dan
SK Mela.
Kemudian sekolah ini juga menerima pelajar yang datang dari Tanjung Gahai,
Merapoh, Kuala Medang dan lain-lain kawasan yang menggunakan jalan kereta api
dan pengangkutan sungai.Pelajar – pelajar ini ditempatkan di asrama lelaki dan
perempuan Selain itu, sekolah ini juga menerima pelajar –pelajar dari SK Wan
Ibrahim, SK Penjom dan SK Relong .Apabila satu bahasa pengantar sahaja digunakan
di sekolah, sebilangan pelajar dari SRK Clifford mula ditempatkan di sekolah ini
pada tahun 1980an.
Pada tahun 1974, asrama sekolah telah siap dibina.
Ianya mempunyai dua buah bangunan untuk menempatkan pelajar lelaki dan
perempuan. Pada awal penubuhannya, asrama ini menempatkan pelajar tingkatan
empat hingga enam dari Sekolah Menengah Clifford, manakala pelajar tingkatan
satu hingga tiga dari sekolah ini sendiri.
Pada tahun 1980 -1988. Jabatan Pelajaran Negeri Pahang ( JPNP ) mengarahkan
sekolah ini menempatkan pelajar-pelajar tahun satu hingga enam dari SK Kuala
Kechau dan SK Kampung Lalang yang diarah tutup oleh Kementerian
Pelajaran.Bermula tahun 1989, barulah pelajar-pelajar SMK Orang Kaya Haji
ditempatkan diasrama sepenuhnya.
Pada tahun 1980an, bangunan tambahan telah dibina
iaitu Blok E, F , kantin dan gelanggang.Pada tahun 1990, Blok H,I,J,dan K pula
dibina bagi menampung keperluan pelajar. Pada tahun 1994, pejabat sekolah yang
berada di Blok D berpindah ke Blok I sekarang.Pada tahun 2002, Blok M iaitu
bangunan baru empat tingkat dibina.Menjelang tahun 2005, makmal ICT siap dan
beroperasi pada tahun 2006.
