北海道発の新たなAI革新
Axcxept株式会社が、オープンソースとして新たにリリースした超小型言語モデル『QwQ-32B-Distill-Qwen-1.5B-Alpha』。これは数学推論に特化しており、限られたリソースで高い性能を実現しています。企業や教育の現場での利用が期待されます。
新モデルの背景
Axcxept社は、これまで日本語特化型や金融・セキュリティに特化したLLMの開発に注力してきました。そこから着想を得て開発された本モデルは、米国バークレー大学の研究やアリババクラウドの先進的モデルの知見を融合し、わずか1.5Bサイズに蒸留された独自の技術製品です。
飛躍的な数学推論性能
本モデルは、数学推論性能ベンチマーク「MMLU」で47.18ポイントをマークし、数学競技問題AMC 2023では75%の正解率を記録しています。小型ながら、従来の大規模モデルと同等の推論能力を示したことは驚くべき成果です。
コストパフォーマンス
特筆すべきは、そのトレーニングコストです。H200 GPUを336時間使用し、約1,341ドルという非常に低いコストで開発されました。この手軽さから、各種企業や教育機関にとっての実用化へのハードルを大きく下げています。
AI技術の普及に向けて
Axcxept社は、このような高性能で低コストなモデルが、より多くの企業や研究機関において先進的なAI開発を促進することを目的に、そのモデルをHugging Faceで無償公開しました。これにより、誰でもダウンロードし商用利用が可能です。
将来の展望
現在は数学推論性能の向上に成功した段階ですが、今後はさらなる小型モデルのニーズにも応えていく考えです。北海道発の企業として、頑張り続け、日本全体を AI に強い国にする一助となることを自負しています。これに伴い、関連するデータセットの公開も計画中です。
国際的な活動
また、Axcxept社は国内にとどまらず、近年では香港で開催されたJUMPSTARTERにも参加し、当社のLLM技術を国内外に広くアピールしました。これにより、多くの企業から信頼を獲得し、国際的な市場でも存在感を高めています。
お問い合わせ
今後もAxcxept社は、様々な特化型モデルの制作やAIソリューションのコンサルティングを通じて企業をサポートしていきます。興味のある方は、ぜひお気軽にお問い合わせください。