Pada masa Nabi saw tidak ada istilah ibadah dengan nama tarawih, adanya qiyamul lail (shalat malam), yang beliau lakukan dan contohkan selama Ramadhan. Istilah tarawih baru muncul pada masa Khalifah Umar bin Khattab yang mulai menyelenggarakan shalat tarawih secara serentak berjamaah di masjid.
Umar bin Khattab berinisatif untuk menggelarnya secara berjamaah, setelah menyaksikan umat Islam shalat tarawih yang tampak tidak kompak, sebagian shalat secara sendiri-sendiri, sebagian lain berjamaah. Sebuah hadits shahih memaparkan:
"Dari 'Abdirrahman bin 'Abdil Qari', beliau berkata: 'Saya keluar bersama Sayyidina Umar bin Khattab radliyallahu 'anh ke masjid pada bulan Ramadhan. (Didapati dalam masjid tersebut) orang yang shalat tarawih berbeda-beda. Ada yang shalat sendiri-sendiri dan ada juga yang shalat berjamaah. Lalu Sayyidina Umar berkata: 'Saya punya pendapat andai mereka dikumpulkan dalam jamaah satu imam, niscaya itu lebih bagus." Lalu beliau mengumpulkan mereka dengan seorang imam, yakni Ubay bin Ka'ab. Kemudian satu malam berikutnya, kami datang lagi ke masjid. Orang-orang sudah melaksanakan shalat tarawih dengan berjamaah di belakang satu imam. Umar berkata, 'Sebaik-baiknya bid’ah adalah ini (shalat tarawih dengan berjamaah)." (HR Bukhari).
Dari sini sudah sangat jelas bahwa pertama kali orang yang mengumpulkan para sahabat untuk melaksanakan shalat tarawih secara berjamaah adalah Sayyidina Umar bin Khattab, salah satu sahabat terdekat Nabi. Jamaah shalat tarawih pada waktu itu dilakukan dengan jumlah 20 rakaat. Sebagaimana keterangan:
"Dari Yazid bin Ruman telah berkata, ‘Manusia senantiasa melaksanakan shalat pada masa Umar radliyallahu ‘anh di bulan Ramadhan sebanyak 23 rakaat (20 rakaat tarawih, disambung 3 rakaat witir)," (HR Malik).