Add Apple Silicon

Detect AppleSilicon cpu on OSX

Merge pull request #80 from xianyi/develop

rebase

Merge pull request #2815 from mhillenibm/clang_s390x

Fix build with clang on s390x

s390x: enable S/DGEMM block with explicit loop unrolling + interleaving with clang

The code for SGEMM 16x4 and DGEMM 8x4 blocks on z14 and z15 uses
explicit unrolling and interleaving to improve performance. The code
employs an empty inline asm statement with operands that constrain the
compiler's instruction scheduling and thereby enforce proper overlapping
of load and compute phases. Fix an ifdef to apply that for clang builds,
as well.

Signed-off-by: Marius Hillenbrand <mhillen@linux.ibm.com>

s390x: allow clang to emit fused multiply-adds (replicates gcc's default behavior)

gcc's default setting for floating-point expression contraction is
"fast", which allows the compiler to emit fused multiply adds instead of
separate multiplies and adds (amongst others). Fused multiply-adds,
which assembly kernels typically apply, also bring a significant
performance advantage to the C implementation for matrix-matrix
multiplication on s390x. To enable that performance advantage for builds
with clang, add -ffp-contract=fast to the compiler options.

Signed-off-by: Marius Hillenbrand <mhillen@linux.ibm.com>

s390x: avoid variable-length arrays in struct for asm operands

... since it is not required and clang does not support that gcc
extension. Instead, use a variable-length array directly for these
operands.

Note that, while the actual inline assembly code does not directly use
these memory operands, they serve to inform the compiler that it cannot
reorder reads or writes to/from the input and output data across the
inline asm statements.

Signed-off-by: Marius Hillenbrand <mhillen@linux.ibm.com>

s390x: avoid inline assembly for vector loads for clang

... since clang does not support the instruction format for inline
assembly and also it is not required for current versions of clang.

Signed-off-by: Marius Hillenbrand <mhillen@linux.ibm.com>

s390x: replace nop with "nop 0" in inline assembly

... as a bandaid for building with clang until LLVM's internal assembler
supports nops without operand.

Signed-off-by: Marius Hillenbrand <mhillen@linux.ibm.com>

s390x: use "lghi" for immediate values to fix build with clang

Some of the kernels written in assembly utilize a "load address"
instruction for loading an immediate value into a register. That is
both unnecessarily complex and LLVM's assembler does not understand that
specific syntax. Thus, replace with the appropriate "load immediate"
instruction, which is also clearer to read.

Signed-off-by: Marius Hillenbrand <mhillen@linux.ibm.com>

Merge pull request #2813 from martin-frbg/issue2804-2

Fix for c_check misinterpreting arm64 in uname -m output as armv7

Fix c_check misinterpreting arm64 in uname output to mean armv7

additionla fix for upcoming OSX on ARM64 related to #2804, as suggested by fxcoudert in #2805

Merge pull request #2811 from martin-frbg/issue2806

Make NO_AVX512 option override the AVX512 compile test in CMAKE builds as well

Merge pull request #2797 from martin-frbg/relafixes1

ReLAPACK fixes

Merge pull request #79 from xianyi/develop

rebase

Fix misnaming of LAPACK_?ggsvp function prototypes as LAPACKE_ (#2808)

* Fix misnaming of LAPACK_?ggsvp and ?ggsvd function prototypes as LAPACKE_

* Drop the LAPACKE matrix_layout parameter from the argument lists, change ints to pointers and add missing work arguments.

Merge pull request #2807 from martin-frbg/issue2804

Work around ARMV8 build-time cpu detection problems on non-Linux systems

Report cpu as ARMV8 instead of just giving up on non-Linux hosts

Handle Apple labeling armv8 as arm64 rather than aarch64

Merge pull request #2799 from RajalakshmiSR/p10_ger

POWER10: Avoid setting accumulators to zero in gemm kernels

POWER10: Avoid setting accumulators to zero in gemm kernels

For the first iteration, it is better to use xvf*ger instead of xvf*gerpp
builtins which helps to avoid setting accumulators to zero. This helps
to reduce few instructions.

Merge pull request #2798 from kadler/aix-cpuid

Fix compile error on AIX cpuid detection

Fix compile error on AIX cpuid detection

In 589c74a the cpuid detection was changed to use systemcfg, but a copy
and paste error was introduced during some refactoring that caused
POWER7 detection to reference CPUTYPE_POWER7 (which doesn't exist)
instead of CPUTYPE_POWER6.

Add early returns and fix sign errors in workspace calculations

Add early returns

Add early returns

Add early returns

Make ILAENV and xGETRF2 functions available

Merge pull request #2775 from Guobing-Chen/Fix_OMP_threads_specify

Fix OMP num specify issue

Merge pull request #2792 from pkubaj/patch-1

Add aliases for armv6, armv7

Add aliases for armv6, armv7

FreeBSD uses those names for 32-bit ARM variants.

Fix OMP num specify issue

In current code, no matter what number of threads specified, all
available CPU count is used when invoking OMP, which leads to very bad
performance if the workload is small while all available CPUs are big.
Lots of time are wasted on inter-thread sync. Fix this issue by really
using the number specified by the variable 'num' from calling API.

Signed-off-by: Chen, Guobing <guobing.chen@intel.com>

Merge pull request #2791 from martin-frbg/issue2787

Fix crashes in parallelized x86_64 ZDOT particularly on Windows

Fix mssing dummy parameter (imag part of alpha) of zdot_thread_function

Merge pull request #2790 from martin-frbg/issue2789

Add OpenMP dependency to pkgconfig information if needed

Add OpenMP dependency to pkgconfig file if needed

Add OpenMP dependency to pkgconfig file if needed

Merge pull request #78 from xianyi/develop

rebase

Merge pull request #2780 from Guobing-Chen/CPL_build_support

Enable COOPERLAKE build target

Update system.cmake

Update system.cmake

fallback from cooperlake to skylake if gcc<10

Typo fix

-march=cooperlake requires gcc10

-march=cooperlake requires gcc10

Fix typo

-march=cooperlake only available in gcc >= 10

make march=cooperlake option conditional on gcc >= 10.1

[WIP] Refactor the driver code for direct SGEMM (#2782)

Move "direct SGEMM" functionality out of the SkylakeX SGEMM kernel and make it available
(on x86_64 targets only for now) in DYNAMIC_ARCH builds
* Add  sgemm_direct targets in the kernel Makefile.L3 and CMakeLists.txt
* Add direct_sgemm functions to the gotoblas struct in common_param.h
* Move sgemm_direct_performant helper to separate file
* Update gemm.c  to macros for sgemm_direct to support dynamic_arch naming via common_s,h
* (Conditionally) add sgemm_direct functions in setparam-ref.c

Merge pull request #2785 from albertziegenhagel/always-generate-pkg-config

Do not require pkg-config to generate the *.pc file

Do not require pkg-config to generate the *.pc file

Generating the pkg-config file does not actually depend on pkg-config being available.

Merge pull request #2784 from martin-frbg/issue2783

Add fallback typedef for bfloat16 to openblas_config.h template

Add typedef for bfloat16 if needed

Merge pull request #77 from xianyi/develop

rebase

revert

revert

revert

Update .drone.yml

Update Makefile

Add simple MT sgemm precision test and INTERFACE64 build

Add simple sgemm preicsion test

Update gemm64.cpp

Add trivial gemm test for multithread consistency

Enable COOPERLAKE build target

Enable new build target platform -- COOPERLAKE. This target platform
supports all the SKYLAKEX supported ISAs + avx512bf16. So all the
SKYLAKEX specific kernels/drivers and related code are now extended
to be also active on COOPERLAKE. Besides, new BF16 related kernels
are active under this target.

Add a dedicated POWER9 build to the Travis CI (#2774)

* Add dedicated POWER9 build (using new syntax to ensure it runs as a P9-only containerized job rather than a VM that
might end up on P8 hardware half of the time)
* Bump gcc version for POWER9 build

Merge pull request #2765 from martin-frbg/issue2760

Add memory barrier to the PPC blas_lock implementation for Linux

Merge pull request #2773 from martin-frbg/issue2770

Fix Makefiles still mishandling NO_CBLAS=0 and NO_LAPACKE=0

Merge pull request #2772 from mhillenibm/s390x_gemm_tuning

s390x: GEMM tuning for z14

Fix mishandling of NO_CBLAS=0 and NO_LAPACKE=0

fix another source of NO_CBLAS=0 surprise

Merge pull request #76 from xianyi/develop

rebase

s390x/SGEMM: adjust default P and Q to multiples of M

We recently changed the register blocking for SGEMM on s390x to 16x4.
However, we did not adjust Q to a multiple of 16 and thus fell back to
the 8x4 kernel at each block's margin, without need. Adjust P and Q to
multiples of 16 to employ the faster 16x4 kernel for complete full-sized
blocks.

Signed-off-by: Marius Hillenbrand <mhillen@linux.ibm.com>

s390x: Factor out small block sizes for SGEMM/DGEMM on z14

For small register blockings that are too small to fill up vector
registers with column vectors, we currently use a generic code block.
Replace that with instantiations of the generic code as individual
functions, so that the compiler can optimize each one separately.

Signed-off-by: Marius Hillenbrand <mhillen@linux.ibm.com>

s390x: Optimize SGEMM/DGEMM blocks for z14 with explicit loop unrolling/interleaving

Improve performance of SGEMM and DGEMM on z14 and z15 by unrolling and
interleaving the inner loop of the SGEMM 16x4 and DGEMM 8x4 blocks.
Specifically, we explicitly interleave vector register loads and
computation of two iterations.

Note that this change only adds one C function, since SGEMM 16x4 and
DGEMM 8x4 actually map to the same C code: they both hold intermediate
results in a 4x4 grid of vector registers, and the C implementation is
built around that.

Signed-off-by: Marius Hillenbrand <mhillen@linux.ibm.com>

Merge pull request #2764 from martin-frbg/lapacktests

Fix array overruns in the LIN part of the LAPACK testsuite

Add memory barrier to the blas_lock implementation for Linux

as recommended by cparrott73 in #2760

 Fix use of unallocated array in workspace query and wrong type of argument to xSCAL

Expand TAU array as SGEMQR/DGEMQR read elements 2 and 3

Create Jenkinsfile for OSUOSL PowerCI

Merge pull request #2761 from RajalakshmiSR/Makefile_err

Remove extra symbol in Makefile

Remove extra symbol in Makefile

While trying out different unroll values, noted that
make failed due to this extra symbol.

Merge pull request #2758 from martin-frbg/undef_shift

Fix GCC ubsan warnings in x86_64 complex dot and gemv_t kernels

Merge pull request #2757 from martin-frbg/cmake64

Fix lapack-tests linking to a suffixed libopenblas in cmake builds

Multiply by 2 instead of left-shifting a potentially negative number

fixes GCC ubsan warning in the BLAS tests

Multiply instead of doing a left shift of a potentially negative number

fixes GCC ubsan report in the BLAS tests

Multiply by two instead of left-shifting one place

fixes GCC ubsan report of "left shift of negative value -2" in the BLAS tests

Multiply by two rather than left shift by one place

fixes GCC ubsan report of "left shift of negative value -2" in the BLAS tests

Apply current library name suffix

Apply library name suffix to openblas if any

Merge pull request #75 from xianyi/develop

rebase

Merge pull request #2753 from martin-frbg/issue2751

Add SYMBOLPREFIX and/or SYMBOLSUFFIX to cblas prototypes

Add SYMBOLPREFIX and/or -SUFFIX to cblas.h if needed

Improve substitution rules for SYMBOLPREFIX and -SUFFIX addition

Merge pull request #2756 from martin-frbg/issue2755

Protect against inadvertent activation of USE_CUDA

Protect against inadvertent activation of USE_CUDA

Add SYMBOLPREFIX and/or SYMBOLSUFFIX to cblas prototypes

Merge pull request #2752 from kadler/cpuid_aix

Use systemcfg APIs for CPU detection on AIX

Use systemcfg APIs for CPU detection on AIX

AIX libc already provides ready access to an integer that contains a bit
identifying the CPU it's running on, so there's no need to call a
program and grep its output. Additionally, prtconf is not available in
the PASE runtime, which provides an AIX emulation layer on the IBM i
operating system.

The AIX systemcfg.h also provides macro definitions like POWER_8,
POWER_9, etc for all the bits defining the CPUs as well as macros like
__power_8(), __power_9_andup() that return booleans, but I did not use
them. Since these macros depend on the level of the OS in which it is
built, they may not be defined and instead the associated hex literals
are used directly.

Fix inadvertent version number reversal to 0.3.9.dev caused by #2710

Merge pull request #2749 from martin-frbg/make_ppc

Reorganize OpenMP build options for POWER and allow compiling for POWER9 with old gcc