Nama empek-empek atau pempek diyakini berasal dari sebutan "apek", yaitu sebutan untuk lelaki tua keturunan Tionghoa. Sedangkan "koh", yaitu sebutan untuk lelaki muda keturunan Tionghoa.
Berdasarkan cerita rakyat, sekitar tahun 1617 seorang apek berusia 65 tahun yang tinggal di daerah Perakitan (tepian Sungai Musi), merasa prihatin menyaksikan tangkapan ikan yang berlimpah di Sungai Musi dan belum dimanfaatkan secara optimal. Baru sebatas digoreng dan dipindang.
Ia kemudian mencoba alternatif pengolahan lain dengan mencampur daging ikan giling dengan tepung tapioka. Makanan ini kemudian dijajakan oleh para apek dengan bersepeda keliling kota, sehingga warga memanggil penjualnya dengan sebutan "pek-apek".
Namun cerita rakyat ini patut ditelaah lebih lanjut, mengingat singkong baru diperkenalkan bangsa Portugis ke Indonesia pada abad 16, dan selain itu velocipede (sepeda) baru dikenal di Prancis dan Jerman pada abad 18.
Walaupun begitu, sangat mungkin pempek merupakan adaptasi dari makanan Cina seperti bakso ikan, kekian ataupun ngohyang.