Alibaba Cloud Membuka Sumber Kode Model LLM Berparameter 7 Miliar

Panjang konteksnya mencapai 8K. Selama pelatihan, model Qwen-7B-Chat diselaraskan dengan instruksi manusia.

Baik model Qwen-7B maupun Qwen-7B-Chat dapat diimplementasikan pada infrastruktur cloud
dan lokal.

Hal ini memungkinkan pengguna melakukan penyesuaian ulang terhadap model dan membangun model generatif berkualitas tinggi mereka sendiri secara efektif dan dengan biaya yang efisien.

Model pra-pelatihan Qwen-7B, berhasil mencetak skor tertinggi dalam uji benchmark Massive Multi-task Language Understanding (MMLU), dengan mencetak skor mengesankan sebesar 56,7, mengungguli model open-source yang sudah ada dengan skala yang serupa atau bahkan beberapa model yang lebih besar.

Uji benchmark ini mengevaluasi akurasi dari model teks multitugas dalam 57 tugas yang beragam, mencakup bidang-bidang seperti matematika dasar, ilmu komputer, dan hukum.

Selain itu, Qwen-7B meraih skor tertinggi di antara model-model lainnya dengan parameter yang setara dalam leaderboard C-Eval, suatu rangkaian evaluasi komprehensif untuk model-model dasar dalam bahasa Mandarin.

Ini mencakup 52 subjek dalam empat spesialisasi utama termasuk humaniora, ilmu sosial, STEM, dan lainnya.

Selain itu, Qwen-7B mencapai kinerja yang luar biasa pada uji benchmark matematika dan pembuatan kode, seperti GSM8K dan HumanEval.

Pada Juli lalu, Alibaba Cloud juga memperkenalkan penghasil gambar AI-nya, Tongyi Wanxiang, yang dirancang untuk mendukung developer dan UKM dalam mengembangkan gambar kreatif mereka.

Pionir cloud ini juga mengungkapkan ModelScopeGPT, kerangka serbaguna yang dirancang untuk membantu pengguna dalam melakukan tugas-tugas AI yang kompleks dan khusus di berbagai bidang bahasa, visi, dan ucapan dengan memanfaatkan berbagai model AI di ModelScope.