Branden i tvåvåningsbyggnaden bröt ut tidigt på morgonen när barnen låg och sov, enligt stadens räddningstjänst. Den kunde släckas på en timme men utan att brandmännen lyckades hindra katastrofen.
Lokala medier visar bilder på förkolnade sängar täckta av svart aska. Vittnen berättar om hur de hört skrik på hjälp.
- Barnen försökte desperat att fly undan lågorna. Det fanns galler som hindrade dem att lämna den brinnande byggnader, säger ministern Tengku Adnan Tengku Mansor.
Stadens polischef Amar Singh säger att det inte fanns någon chans för barnen att fly undan lågorna och att det bara fanns en utgång. Eleverna på skolan är pojkar mellan 13 och 17 år.
Antalet bekräftade döda är 22 elever och två anställda.
- De kan ha dött när de andades in giftig rök eller blev fast i elden. Jag tror att det är en av de värsta brandkatastroferna i landet på 20 år, säger Khirudin Drahman vid räddningstjänsten.
Sex elever vårdas på sjukhus i kritiskt tillstånd, enligt polisen.
Hur branden kunde starta utreds nu. Den muslimska skolan bedrev verksamhet utan tillstånd, enligt polisen.
Tidningen The Star rapporterar att brandmyndigheter tidigare har väckt farhågor om säkerhetsåtgärder på de oregistrerade och privata religiösa skolorna, som kallas tahfiz och där koranen studeras, och har registrerat 211 bränder på sådana skolor sedan 2015.