还有一个重要的指标——准确率。伯克利函数调用排行榜 (BFCL) 是评估函数调用能力的标准基准。 Gemma 3 1B 的得分约为 31%,Llama 3.2 1B 约为 26%,两者未经微调的性能都很弱。由于 Gemma 3n 是通用型程序,因此未对其进行测试。Hammer 2.1 0.5B 没有公开数据,但其 1.5B 版本开箱即用的得分约为 73%——尽管它在 int8 内存中占用约 1.5GB 的空间,是 FunctionGemma(288MB)的 5 倍。
如果你想查看微调后的效果,这里有一个基于 flutter_gemma 示例中的函数训练的模型:sasha-denisov/functiongemma-flutter-gemma-demo。该模型使用 284 个示例训练了 3 个函数(change_background_color、change_app_title 和 show_alert)。准确率显著高于基准模型。
,这一点在旺商聊官方下载中也有详细论述
Here's a complete synchronous pipeline — compression, transformation, and consumption with zero async overhead:,这一点在Line官方版本下载中也有详细论述
到達美國之後,關恆提交了庇護的申請,開始了他在美國低調、獨自一人的生活。