Skip to content

Latest commit

 

History

History

examples

Folders and files

NameName
Last commit message
Last commit date

parent directory

..
 
 
 
 
 
 
 
 
 
 

效果对比 Performance Comparison

以下分数应视为paired score,也就是说分数是一个相对值,而不是绝对值,是多个系统相比较得到的结果。详细结果见相应目录。

q4_7b-13b:对比了4-bit量化版的Alpaca-7B和13B

样例数 中文Alpaca-7B 中文Alpaca-13B
💯总平均分 160 49 👍🏻71

q8_7b-13b-p7b:对比了8-bit量化版的Alpaca-7B、13B、Plus-7B

样例数 中文Alpaca-7B 中文Alpaca-13B 中文Alpaca-Plus-7B
💯总平均分 200 65.3 70.9 👍🏻75.3

q8_13b-p7b-p13b:对比了8-bit量化版的Alpaca-13B、Plus-7B、Plus-13B

样例数 Alpaca-13B Alpaca-Plus-7B Alpaca-Plus-13B
💯总平均分 200 74.3 78.2 👍🏻80.8

f16_p7b-p13b-33b:对比了8-bit量化版的Alpaca-Plus-7B、Plus-13B和F16的33B

样例数 Alpaca-Plus-7B Alpaca-Plus-13B Alpaca-33B
💯总平均分 200 75.3 79.4 👍🏻82.0