TAFISA Games bermula sejak 1960-an, dari pertemuan reguler sejumlah orang yang tertarik mengembangkan olahraga masyarakat. Kemudian komunitas ini membentuk organisasi di Bordeaux, Prancis, pada September 1991.
Kini, TAFISA terus tumbuh dan mencapai 270 organisasi Sport for All di 160 negara. Pertumbuhan ini sejalan dengan keyakinan bahwa akses pada Sport for All dan aktivitas fisik adalah hak semua manusia.
Awalnya, TAFISA merupakan singkatan dari Trim And Fitness International Sport for All Association. Singkatan tersebut kemudian diubah menjadi The Association For International Sport for All.
Selanjutnya, lebih 40 negara sepakat meletakkan pondasi pembentukan organisasi yang menaungi olahraga tradisional masyarakat dunia, maupun cabang olahraga yang tidak dipertandingkan dalam olimpiade.
Edisi pertama even olahraga masyarakat dunia ini digelar di Bonn, Jerman. Empat tahun kemudian, pada 1996, edisi kedua digelar di Bangkok, Thailand, lalu di Hannover, Jerman, pada 2000.
Montreal, Kanada, semestinya menjadi tempat penyelenggara berikutnya pada 2004, tapi kemudian ditiadakan karena pihak tuan rumah tidak siap. Pada edisi 2008, Busan, Korea Selatan menjadi tuan rumah.
Pada 2012, TAFISA World Game digelar di Lithuania, dengan Siauliai sebagai kota penyelenggara. Tahun ini, tepatnya Oktober 2016, Jakarta menjadi tuan rumah.