Increase tolerance in fp64 mat3determinant compute
authorzhangkai <kazhang@nvidia.com>
Thu, 14 Apr 2022 02:13:08 +0000 (19:13 -0700)
committerMatthew Netsch <quic_mnetsch@quicinc.com>
Thu, 5 May 2022 19:09:30 +0000 (19:09 +0000)
On QNX, the library function `strtod` has different behavior
from other platforms. It would convert string to a double value
slightly different. So increasing the tolerance slightly would
solve the problem.

Affected tests:
    dEQP-VK.glsl.builtin.precision_double.determinant.compute.mat3

VK-GL-CTS issue: 3642
Components: Vulkan

Change-Id: I2c30029d0d6297b660e2900217d6aeb5d3bf3186

external/vulkancts/data/vulkan/amber/builtin/precision/square_matrix/determinant_compute_fp64_mat_3x3.amber

index 1ed071a..be69f94 100644 (file)
@@ -112,7 +112,7 @@ EXPECT bufOut IDX 24 TOLERANCE 0.0000000000000017763569   EQ               9.517
 EXPECT bufOut IDX 32 TOLERANCE 0.000000000001818989403546 EQ           -4572.819874970912419629875268
 
 # Decimals between 32768 and 65536: 7.275957614e-12
-EXPECT bufOut IDX 40 TOLERANCE 0.0000000000072759576      EQ           39409.657530142280652696
+EXPECT bufOut IDX 40 TOLERANCE 0.0000000000072759576141834259      EQ           39409.657530142280652696
 
 # Decimals between 1.407374884e+14 and 2.814749767e+14: 0.03125
 EXPECT bufOut IDX 48 TOLERANCE 0.125                      EQ 193279112353655.781250
@@ -121,7 +121,7 @@ EXPECT bufOut IDX 48 TOLERANCE 0.125                      EQ 193279112353655.781
 EXPECT bufOut IDX 56 TOLERANCE 0.00000000023283064365387  EQ         1056597.50481621926485282276659
 
 # Decimals between 0.000244140625 and 0.00048828125: 0.00048828125
-EXPECT bufOut IDX 64 TOLERANCE 0.00048828125              EQ  -2382539145823.611328125
+EXPECT bufOut IDX 64 TOLERANCE 0.00048828125000000001              EQ  -2382539145823.611328125
 
 # Decimals between 131072 and 262144: 2.910383046e-11
 EXPECT bufOut IDX 72 TOLERANCE 0.00000000002910383046     EQ         -194083.93092791094919429