Ali Hasymi dalam buku Semangat Merdeka mengungkapkan, Teungku Abdul Jalil merupakan alumni Dayah Teungku Muhammad Amin Jumphoh di Pidie, kemudian melanjutkan pendidikan ke Dayah Krueng Kale salah satu pusat pendidikan Islam terkenal di Aceh Besar yang dipimpin oleh Teungku Hasan Krueng Kale.
Dari sana ia pindah ke Dayah Cot Plieng Bayu, Lhoksukon, Aceh Utara pimpinan Teungku Ahmad. Di sana Abdul Jalil menikah dengan Teungku Asiah, putri Teungku Ahmad. Ia kemudian menggantikan mertuanya memimpin Dayah Cot Plieng hingga digelar Teungku Syik.
Para guru Teungku Abdul Jalil di antaranya Teungku Muhammad Amin Jumphoh maupun Teungku Teungku Haji Krueng Kale dan Teungku Ahmad merupakan kelompok ulama non PUSA yang disebut sebagai “kaum tua” sementara ulama PUSA disebut “kaum muda”. Dengan latar belakang pendidikan di tiga ulama tersebut, membuat Teungku Abdul Jalil menjadi ulama muda yang sangat militan menentang pendudukan Jepang.