OPML:一种高效的去中心化机器学习方法

OPML(Optimistic机器学习)是一种新颖的方法,可以在区块链系统上进行AI模型推理和训练/微调。与ZKML相比,OPML具有低成本和高效率的优势。OPML的参与门槛很低,普通PC无需GPU就能运行大型语言模型,如26GB的7B-LLaMA。

OPML采用验证游戏机制来保证ML服务的去中心化和可验证性。具体流程如下:

1. 请求者发起ML服务任务
2. 服务器完成任务并将结果提交到链上
3. 验证者验证结果,如有异议则启动验证游戏
4. 通过二分协议定位具体错误步骤
5. 在智能合约上进行单步仲裁

单阶段验证游戏

单阶段验证游戏的核心是构建一个虚拟机(VM),用于链下执行和链上仲裁。为提高AI模型推理效率,OPML实现了一个轻量级DNN库,并提供脚本将Tensorflow和PyTorch模型转换为该库格式。通过交叉编译,AI模型推理代码被编译为VM指令。

VM镜像通过默克尔树管理,只有根哈希上传到链上。二分协议帮助定位争议步骤,并将其发送到链上仲裁合约。测试表明,基本AI模型在VM中推理仅需2秒,整个挑战过程可在2分钟内完成。

多阶段验证游戏

为克服单阶段方案的局限性,OPML提出了多阶段验证游戏:

• 只在最后阶段在VM中计算
• 其他阶段可在本地环境执行,利用CPU/GPU/TPU加速
• 通过减少VM依赖,显著提升性能

多阶段方案通过默克尔树确保阶段间转换的完整性和安全性。

以LLaMA模型为例,OPML采用两阶段方法:

1. 第二阶段在计算图上进行验证博弈,可利用GPU加速
2. 第一阶段将单个节点计算转为VM指令执行

多阶段OPML相比单阶段可实现α倍(数十到数百倍)的加速,同时大幅减小默克尔树大小。

一致性保证

为确保ML结果一致性,OPML采用两种关键方法:

1. 使用定点算法(量化技术),减少浮点舍入误差
2. 采用基于软件的浮点库,确保跨平台一致性

这些技术有效克服了浮点变量和平台差异带来的挑战,增强了OPML的可靠性。

OPML虽仍在开发中,但已展现出巨大潜力。它为区块链上的机器学习提供了一种高效、低成本且去中心化的解决方案,值得业界持续关注和探索。