fabs -> fabsl

fabs -> fabsl

Fixes two calls that were using `fabs` on a `long double` argument rather than `fabsl`, which looks like it is doing an unintentional truncation to `double` precision.

Merge pull request #1703 from wsttiger/cmake_fix

Set EXPORT_NAME to match OpenBLASConfig.cmake

Merge pull request #1707 from extrowerk/haiku_support

Haiku supporting patches

Added target_include_directories()

Haiku supporting patches

Merge pull request #1706 from oon3m0oo/develop

Fix #1705 where we incorrectly calculate page locations.

Fix #1705 where we incorrectly calculate page locations.

Since we now use an allocation size that isn't a multiple of PAGESIZE, finding
the pages for run_bench wasn't terminating properly.  Now we detect if we've
found enough pages for the allocation and terminate the loop.

Set EXPORT_NAME to match OpenBLASConfig.cmake

Set version to 0.3.3.dev

Set version to 0.3.3.dev

Merge branch 'release-0.3.0' into develop

Merge pull request #1697 from martin-frbg/issue1696

Do not treat WIndows UWB builds as cross-compiling

Do not treat WIndows UWB builds as cross-compiling

Merge pull request #1695 from martin-frbg/issue1692

Unset memory table entry, not just the local pointer to it on shutdown

Unset memory table entry, not just the temporary pointer to it on shutdown

to fix crash with multiple instances of OpenBLAS, #1692

Merge pull request #1688 from martin-frbg/issue1673

Temporarily disable special handling of OPENMP thread memory allocation

Temporarily disable special handling of OPENMP thread memory allocation

for issue #1673

Merge pull request #1681 from martin-frbg/issue1671

Add cpu identification via mfpvr call for the BSDs

Merge pull request #1684 from martin-frbg/issue1672

Work around utest failures in the MIPS64 SICORTEX target

typo fix

Fix precision problem in DSDOT

Use C kernels for default c/zAXPY, xROT, c/zSWAP

Add cpu identification via mfpvr call for the BSDs

fixes #1671

Merge pull request #1680 from martin-frbg/snprint

Fix wrong redefinitions of snprintf for older MSVC

Fix declaration of snprintf for older MSVC

_snprintf_s takes an additional (size) argument, so is no direct replacement.
(Note that this code is currently unused - the two instances of snprintf here are within ifdef blocks that are not compiled for MSVC)

Fix definition of snprintf for MSVC

MS _snprintf_s takes an additional argument for the size of the buffer, so is not a direct replacement (utest/ctest.h from which I copied was wrong)

Merge pull request #1678 from martin-frbg/issue1677

Define snprintf for older versions of MSVC

Define snprintf for older versions of MSVC

for #1677

Merge pull request #1667 from xianyi/revert-1642-develop

Revert "Rewrite &= -> = and simplify the initial blocking phase."

Merge pull request #1665 from martin-frbg/cpuid-ryzen2

Add cpuid for AMD Ryzen 2

Merge pull request #1663 from martin-frbg/issue1641

Double MAX_ALLOCATING_THREADS to fix segfaults with Go and Octave

Revert "Rewrite &= -> = and simplify the initial blocking phase."

Add cpuid for AMD Ryzen 2

Add cpuid for AMD Ryzen 2

for #1664

Merge pull request #1662 from martin-frbg/cmake-avx512

Add -march=skylake-avx512 to AVX512 compile check and suppress its ou…

Double MAX_ALLOCATING_THREADS to fix segfaults with Go and Octave

for #1641

Add -march=skylake-avx512 to AVX512 compile check and suppress its output

Merge pull request #1660 from martin-frbg/issue1659

Fix typo that broke compilation with DYNAMIC_ARCH and NO_AVX2

Fix typo that broke compilation with DYNAMIC_ARCH and NO_AVX2

fixes 1659

Merge pull request #1657 from martin-frbg/release-0.3.0

Release 0.3.1

set version number to 0.3.2.dev

set version number to 0.3.2.dev

remove dev suffix from version number

remove dev suffix from version number

Merge pull request #1648 from martin-frbg/nofort

Handle NOFORTRAN=0

Merge pull request #1656 from xianyi/develop

Update the 0.3 branch from develop

Merge pull request #1655 from martin-frbg/issue1641

Fix apparent off-by-one error in calculation of MAX_ALLOCATING_THREADS

Merge pull request #1654 from martin-frbg/avx512check

Add compiler option to avx512 test and hide test output

Fix apparent off-by-one error in calculation of MAX_ALLOCATING_THREADS

fixes #1641

Add compiler option to avx512 test and hide test output

Merge pull request #1651 from martin-frbg/avx512-nodgemm

Disable the 16x2 DTRMM kernel on SkylakeX as well

Disable the 16x2 DTRMM kernel on SkylakeX as well

Merge pull request #1650 from martin-frbg/avx512-nodgemm

Disable the AVX512 DGEMM kernel for now

Merge pull request #1639 from martin-frbg/dyn_list

Add DYNAMIC_LIST option for user-defined list of dynamic targets

Disable the AVX512 DGEMM kernel for now

due to #1643

Update Makefile

Merge branch 'develop' into nofort

Handle NOFORTRAN=0

Merge pull request #1647 from martin-frbg/armv7-dot

Remove premature exits from ARMV7 xdot codes

Remove premature exit for INC_X or INC_Y zero

Remove premature exit for INC_X or INC_Y zero

Remove premature exit for INC_X or INC_Y zero

Remove premature exit for INC_X or INC_Y zero

Merge pull request #1644 from martin-frbg/revert-filterout

Revert changes to NOFORTRAN handling in Makefile

Revert changes to NOFORTRAN handling from 952541e

Try gradual fallback for cores not in the dynamic core list

Merge pull request #2 from martin-frbg/develop

merge develop

Merge pull request #1 from xianyi/develop

Merge xianyi:develop into develop

Merge pull request #1642 from oon3m0oo/develop

Rewrite &= -> = and simplify the initial blocking phase.

Rewrite &= -> = and simplify the initial blocking phase.

Add support for a user-defined list of dynamic targets

Add support for a user-defined list of dynamic targets

Merge pull request #1638 from martin-frbg/issue1637

Expose the CBLAS interface to the IxAMIN functions and have make build it

Expose CBLAS interface to BLAS extensions iXamin

Build cblas_iXamin interfaces

Merge pull request #1634 from oon3m0oo/develop

Fix data races reported by TSAN.

Use BLAS rather than CBLAS in test_fork.c (#1626)

This is handy for people not using lapack.

Fix data races reported by TSAN.

Further improvements to memory.c. (#1625)

- Compiler TLS is now used only used when the compiler supports it
- If compiler TLS is unsupported, we use platform-specific TLS
- Only one variable (an index) is now in TLS
- We only access TLS once per alloc, and never when freeing
- Allocation / release info is now stored within the allocation itself, by
  over-allocating; this saves having external structures do the bookkeeping, and
  reduces some of the redundant data that was being stored (such as addresses)
- We never hit the alloc lock when not using SMP or when using OpenMP (that was
  my fault)
- Now that there are fewer tracking structures I think this is a bit easier to
  read than before

Merge pull request #1630 from martin-frbg/x86-march

Add -march=skylake-avx512 to flags if target is skylake x

Merge pull request #1631 from oon3m0oo/stack

Avoid declaring arrays of size 0 when making large stack allocations.

Avoid declaring arrays of size 0 when making large stack allocations.

Merge pull request #1629 from martin-frbg/issue1628

Make gfortran link libomp for clang in the tests; avoid two typical gotchas with NOFORTRAN

Add -march=skylake-avx512 to flags if target is skylake x

Need to use filter-out to handle NOFORTRAN not set

Modify NOFORTRAN tests to always check the value; fix rewriting of NO_FORTRAN

Handle erroneous user settings NOFORTRAN=0 and NO_FORTRAN

Handle special case of gfortran+clang+OpenMP

Handle special case of gfortran+clang+OpenMP

Merge pull request #1623 from fenrus75/fast-thread

Initialize only the required subset of the jobs array, fix barriers and improve switch ratio on SkylakeX and Haswell. For issue #1622

Support upcoming Intel Cannon Lake CPUs as Skylake X (#1621)

* Support  upcoming Cannon Lake as Skylake X

make WMB / MB safer on x86-64

make it so that

if (foo)
RMB;
else
MB;

is always done correctly and without syntax surprises

On x86-64, make MB/WMB compiler barriers

Whie on x86(64) one does not normally need full memory barriers, it's
good practice to at least use compiler barriers for places where on other
architectures memory barriers are used; this prevents the compiler
from over-optimizing.

Add missing barriers in gemm scheduler

a few places in the gemm scheduler code were missing barriers;
the code likely worked OK due to heavy use of volatile / _Atomic
but there's no reason to get this incorrect

Tune HASWELL SWITCH_RATIO as well

Similar to the SKYLAKEX patch, 32 seems to work best
(much better than 4 or 16)

Before (4)

   Matrix          SGEMM cycles    MPC                                   DGEMM cycles      MPC
  48 x 48               15554.3    7.2       0.2%                             30353.8      3.7       0.3%
  64 x 64               30346.8    8.7       1.6%                             63495.0      4.1      -0.1%
  65 x 65               81668.1    3.4    -123.3%                             82705.2      3.3     -21.2%
  80 x 80              105045.9    4.9     -95.5%                            115226.0      4.5      -2.2%
  96 x 96              152461.2    5.8     -74.3%                            148156.3      6.0      16.4%
 112 x 112             188505.2    7.5     -42.2%                            171187.3      8.2      36.4%
 128 x 128             257884.0    8.1     -39.5%                            224764.8      9.3      46.0%

Intermediate (16)

   Matrix          SGEMM cycles    MPC                                   DGEMM cycles      MPC
  48 x 48               15565.7    7.2       0.2%                             30378.9      3.7       0.2%
  64 x 64               30430.2    8.7       1.3%                             63046.4      4.2       0.6%
  65 x 65               27306.0   10.1      25.3%                             38879.2      7.1      43.0%
  80 x 80               51008.7   10.1       5.1%                             61007.6      8.4      45.9%
  96 x 96               70856.7   12.5      19.0%                             83403.1     10.6      53.0%
 112 x 112              84769.9   16.6      36.0%                             99920.1     14.1      62.9%
 128 x 128              84213.2   25.0      54.5%                            113024.2     18.6      72.8%

After (32)

   Matrix          SGEMM cycles    MPC                                   DGEMM cycles      MPC
  48 x 48               15537.3    7.2       0.3%                             30537.0      3.6      -0.3%
  64 x 64               30352.7    8.7       1.6%                             62597.8      4.2       1.3%
  65 x 65               36857.0    7.5      -0.8%                             56167.6      4.9      17.7%
  80 x 80               42552.6   12.1      20.8%                             69536.7      7.4      38.3%
  96 x 96               52101.5   17.1      40.5%                             91016.1      9.7      48.7%
 112 x 112              63853.7   22.1      51.8%                            110507.4     12.7      58.9%
 128 x 128              73966.1   28.4      60.0%                            163146.4     12.9      60.8%

Tune param.h for SkylakeX

param.h defines a per-platform SWITCH_RATIO, which is used as a measure for how fine
grained the blocks for gemm need to be split up. Many platforms define this to 4.

The reality is that the gemm low level implementation for SkylakeX likes bigger blocks
due to the nature of SIMD... by tuning the SWITCH_RATIO to 32 the threading performance
improves significantly:

Before
   Matrix          SGEMM cycles    MPC                                   DGEMM cycles      MPC
  48 x 48               10756.0   10.5      -0.5%                             18296.7      6.1      -1.7%
  64 x 64               20490.0   12.9       1.4%                             40615.0      6.5       0.0%
  65 x 65               83528.3    3.3    -210.9%                             96319.0      2.9     -83.3%
  80 x 80              101453.5    5.1    -166.3%                            128021.7      4.0     -76.6%
  96 x 96              149795.1    5.9    -143.1%                            168059.4      5.3     -47.4%
 112 x 112             191481.2    7.3    -105.8%                            204165.0      6.9     -14.6%
 128 x 128             265019.2    7.9     -99.0%                            272006.4      7.7      -5.3%

After
   Matrix          SGEMM cycles    MPC                                   DGEMM cycles      MPC
  48 x 48               10666.3   10.6       0.4%                             18236.9      6.2      -1.4%
  64 x 64               20410.1   13.0       1.8%                             39925.8      6.6       1.7%
  65 x 65               34983.0    7.9     -30.2%                             51494.6      5.4       2.0%
  80 x 80               39769.1   13.0      -4.4%                             63805.2      8.1      12.0%
  96 x 96               45169.6   19.7      26.7%                             80065.8     11.1      29.8%
 112 x 112              57026.1   24.7      38.7%                             99535.5     14.2      44.1%
 128 x 128              64789.8   32.5      51.3%                            117407.2     17.9      54.6%

With this change, threading starts to be a win already at 96x96

Don't use _Atomic for jobs sometimes...

The use of _Atomic leads to really bad code generation in the compiler
(on x86, you get 2 "mfence" memory barriers around each access with gcc8, despite
x86 being ordered and cache coherent). But there's a fallback in the code that
just uses volatile which is more than plenty in practice.

If we're nervous about cross thread synchronization for these variables, we should
make the YIELD function be a compiler/memory barrier instead.

performance before (after last commit)

   Matrix          SGEMM cycles    MPC                                   DGEMM cycles      MPC
  48 x 48               10630.0   10.6       0.7%                             18112.8      6.2      -0.7%
  64 x 64               20374.8   13.0       1.9%                             40487.0      6.5       0.4%
  65 x 65              141955.2    1.9    -428.3%                            146708.8      1.9    -179.2%
  80 x 80              178921.1    2.9    -369.6%                            186032.7      2.8    -156.6%
  96 x 96              205436.2    4.3    -233.4%                            224513.1      3.9     -97.0%
 112 x 112             244408.2    5.8    -162.7%                            262158.7      5.4     -47.1%
 128 x 128             321334.5    6.5    -141.3%                            333829.0      6.3     -29.2%

Performance with this patch (roughly a 2x improvement):

   Matrix          SGEMM cycles    MPC                                   DGEMM cycles      MPC
  48 x 48               10756.0   10.5      -0.5%                             18296.7      6.1      -1.7%
  64 x 64               20490.0   12.9       1.4%                             40615.0      6.5       0.0%
  65 x 65               83528.3    3.3    -210.9%                             96319.0      2.9     -83.3%
  80 x 80              101453.5    5.1    -166.3%                            128021.7      4.0     -76.6%
  96 x 96              149795.1    5.9    -143.1%                            168059.4      5.3     -47.4%
 112 x 112             191481.2    7.3    -105.8%                            204165.0      6.9     -14.6%
 128 x 128             265019.2    7.9     -99.0%                            272006.4      7.7      -5.3%

Only initialize the part of the jobs array that will get used

The jobs array is getting initialized in O(compiled cpus^2) complexity.
Distros and people with bigger systems will use pretty high values
(128 or 256 or more) for this value, leading to interesting bubbles
in performance.

Baseline (single threaded performance) gets roughly 13 - 15 multiplications per cycle
in the interesting range (threading kicks in at 65x65 mult by 65x65).
The hardware is capable of 32 multiplications per cycle theoretically.

   Matrix          SGEMM cycles    MPC                                   DGEMM cycles      MPC
  48 x 48               10703.9   10.6       0.0%                             17990.6      6.3       0.0%
  64 x 64               20778.4   12.8       0.0%                             40629.2      6.5       0.0%
  65 x 65               26869.9   10.3       0.0%                             52545.7      5.3       0.0%
  80 x 80               38104.5   13.5       0.0%                             72492.7      7.1       0.0%
  96 x 96               61626.4   14.4       0.0%                            113983.8      7.8       0.0%
 112 x 112              91803.8   15.3       0.0%                            180987.3      7.8       0.0%
 128 x 128             133161.4   15.8       0.0%                            258374.3      8.1       0.0%

When threading is turned on
TARGET=SKYLAKEX F_COMPILER=GFORTRAN  SHARED=1 DYNAMIC_THREADS=1 USE_OPENMP=0  NUM_THREADS=128

  Matrix          SGEMM cycles    MPC                                   DGEMM cycles      MPC
  48 x 48               10725.9   10.5      -0.2%                             18134.9      6.2      -0.8%
  64 x 64               20500.6   12.9       1.3%                             40929.1      6.5      -0.7%
  65 x 65             2040832.1    0.1   -7495.2%                           2097633.6      0.1   -3892.0%
  80 x 80             2063129.1    0.2   -5314.4%                           2119925.2      0.2   -2824.3%
  96 x 96             2070374.5    0.4   -3259.6%                           2173604.4      0.4   -1806.9%
 112 x 112            2111721.5    0.7   -2169.6%                           2263330.8      0.6   -1170.0%
 128 x 128            2276181.5    0.9   -1609.3%                           2377228.9      0.9    -820.1%

There is a deep deep cliff once you hit 65x65

With this patch

   Matrix          SGEMM cycles    MPC                                   DGEMM cycles      MPC
  48 x 48               10630.0   10.6       0.7%                             18112.8      6.2      -0.7%
  64 x 64               20374.8   13.0       1.9%                             40487.0      6.5       0.4%
  65 x 65              141955.2    1.9    -428.3%                            146708.8      1.9    -179.2%
  80 x 80              178921.1    2.9    -369.6%                            186032.7      2.8    -156.6%
  96 x 96              205436.2    4.3    -233.4%                            224513.1      3.9     -97.0%
 112 x 112             244408.2    5.8    -162.7%                            262158.7      5.4     -47.1%
 128 x 128             321334.5    6.5    -141.3%                            333829.0      6.3     -29.2%

The cliff is very significantly reduced.
(more to follow)

Add build-time option for OMP scheduler; document MULTITHREAD_THRESHOLD range (#1620)

* Allow choosing the OpenMP scheduler and add range hint for GEMM_MULTITHREAD_THRESHOLD
* Amended description of GEMM_MULTITHREAD_THRESHOLD
to reflect #742 making it track floating point operations rather than matrix size