precision()

系统函数 MathLib.precision 返回数字的最大精度(以小数位数计)。对于浮点数(对于标准精度浮点数,是 8 位的 HEX,对于双精度浮点数,是 16 位的 HEX),精度是对于运行程序的系统,可以在数字中表示的最大小数位数。

  MathLib.precision(numericField mathLibNumber in)
  returns (result INT)
result
用于接收 numericItem 的精度的项。result 项被定义为具有 INT 类型,或者具有以下等效类型:BIN 类型,长度为 9 并且不带小数位。
numericField
任何数字或 HEX 项,如数学(系统字)中所述。

示例

  result = MathLib.precision(myItem);

相关参考
EGL 库 MathLib

使用条款 | 反馈
(C) Copyright IBM Corporation 2000, 2005. All Rights Reserved.