powerpc: Optimized SGEMM/DGEMM/CGEMM for POWER10

This patch introduces new optimized version of SGEMM, CGEMM and DGEMM
using power10 Matrix-Multiply Assist (MMA) feature introduced in
POWER ISA v3.1. This patch makes use of new POWER10 compute instructions
for matrix multiplication operation.

Tested on simulator and there are no new test failures.
Cycles count reduced by 30-50%  compared to POWER9 version depending on
M/N/K sizes.
MMA GCC patch for reference:
https://gcc.gnu.org/git/?p=gcc.git;a=commit;h=8ee2640bfdc62f835ec9740278f948034bc7d9f1

Merge pull request #2675 from wjc404/develop

AVX512 DGEMM TCOPY_16 Function

Merge pull request #2658 from RajalakshmiSR/p10

powerpc: Add support for future processor

AVX512 dgemm tcopy_16 function

Merge pull request #2669 from mhillenibm/zarch_fix_gcc_detection

Zarch fix gcc detection

Merge pull request #2672 from mhillenibm/test_num_threads

cpp_thread_test: Change adjustment of concurrency on systems with <52 hw threads

cpp_thread_test/dgemv: fail early if concurrency is zero

The two test cases dgemv_tester and dgemm_tester accept the degree of
concurrency as command line argument (amongst others). Fail early if
value 0 has been specified, instead of later with less-clear symptoms.

Signed-off-by: Marius Hillenbrand <mhillen@linux.ibm.com>

cpp_thread_test/dgemv: cap concurrency to number of hw threads on small systems

... instead of (number of hw threads - 4) to avoid invalid numbers on
smaller systems. Currently, systems with 4 or fewer CPUs (e.g., small CI
VMs) would fail the test. Fixes one of the issues discussed in #2668

Signed-off-by: Marius Hillenbrand <mhillen@linux.ibm.com>

Makefile.system: remove duplicate variable GCCVERSIONGT5

... to bring unified gcc version detection with common variables to the
one remaining spot in Makefile.system.

Signed-off-by: Marius Hillenbrand <mhillen@linux.ibm.com>

Fix gcc version detection for zarch

Employ common variables for gcc version detection and fix the broken
check for gcc >= 5.2.
Fixes #2668

Signed-off-by: Marius Hillenbrand <mhillen@linux.ibm.com>

Increment version to 0.3.10.dev

Increment version to 0.3.10.dev

Merge branch 'release-0.3.0' into develop

Increment version to 0.3.10.dev

Increment version to 0.3.10.dev

Merge pull request #2665 from martin-frbg/flang-fixes-2a

Fix spelling of flang option -Mrecursive, add -Kieee and workaround for AOCC optimizer bug

Update with 0.3.10 changes

Merge pull request #2666 from martin-frbg/blastest

Update BLAS tests to what netlib 3.9.0 uses

Merge pull request #2664 from ACSimon33/exported_symbols

Add missing exported symbols.

Merge pull request #2663 from martin-frbg/issue2654

Respect predefined defaults for AR, AS, LD and RANLIB

Merge pull request #2661 from martin-frbg/issue2660

Report selected DYNAMIC_ARCH kernel rather than one of its aliases in gotoblas_corename

Remove optimization level limit for flang again and add -fno-unroll-loops for AOCC flang 2.x instead

Re-enable higher optimization levels for flang while disabling loop unrolling for AOCC flang

Update BLAS tests to correspond to Reference-LAPACK 3.9.0

replaces calculation of machine precision with call to epsilon intrinsic and removes the requirement for previous output files to be removed before rerunning tests

Fix spelling of flang option -Mrecursive and add -Kieee

Fix spelling of flang option -Mrecursive and add -Kieee

Respect predefined defaults for AR, AS, LD and RANLIB

Added missing exported symbols.

Make gotoblas_corename report the name of the selected TARGET rather than its aliases

Merge pull request #64 from xianyi/develop

rebase

powerpc: Add support for future processor

This is the initial patch to support build infrastructure
for POWER10 architecture.

Merge pull request #2653 from craft-zhang/cortex-a53

fix INIT8x4 of SGEMM on Arm Cortex-A53

Merge pull request #2652 from martin-frbg/flang-fixes

Fixes for compilation with flang binary release 20190329

fix INIT8x4

Signed-off-by: ZhangDanfeng <467688405@qq.com>

Limit optimization level to O1 for flang and add -frecursive

When building with flang, use it also for the final link step to get dependencies right

Apply previously AOCC-specific workaround to all versions of flang

Merge pull request #63 from xianyi/develop

rebase

Merge pull request #2648 from martin-frbg/lapack411

Break out of potentially infinite rescaling loop in LAPACK xLARGV/xLARTG/xLARTGP

Merge pull request #2647 from martin-frbg/aocc-flang

Small fixes for flang in general and the AMD AOCC version of it in particular

Merge pull request #2645 from martin-frbg/misc_fixes

Miscellaneous fixes

Break out of potentially infinite rescaling loop in LAPACK xLARGV/xLARTG/xLARTGP

Reference-LAPACK issue 411

Merge pull request #2646 from wjc404/develop

Optimize AVX512 parallel DGEMM performance

Use only -O1 with AMD AOCC version of flang

to prevent miscompilation of LAPACK codes and tests on Ryzen

Update "cosmetic fixes for non-C99 compilers"

Add files via upload

Cosmetic fixes for non-C99 compilers

Delete spurious copy of common_param.h

make blas_quickdivide unsigned and guard against miscompilation

Merge pull request #62 from xianyi/develop

rebase

Merge pull request #2644 from martin-frbg/cmake-maxstack

Add CMAKE support for MAX_STACK_ALLOC setting

Limit MAX_STACK_ALLOC availability to non-Wndows

Update azure-pipelines.yml

Update azure-pipelines.yml

Add CMAKE support for MAX_STACK_ALLOC setting

Merge pull request #2643 from craft-zhang/cortex-a53

Improve performance of SGEMM on Arm Cortex-A53

Merge pull request #2638 from leezu/actions

Add Github Actions test for DYNAMIC_ARCH builds on Linux and macOS

sgemm copy source init

Signed-off-by: ZhangDanfeng <467688405@qq.com>

Insert prefetch

Signed-off-by: ZhangDanfeng <467688405@qq.com>

Merge pull request #2641 from martin-frbg/ppcg4

Work around PPC G4 test failures

set cmake build type to Release

revert clang pragma

Update sgemm_kernel_16x4_skylakex_3.c

preset optimization level for apple clang

Update dynamic_arch.yml

Make cmake build verbose to see options in use

Revert "keep Apple Clang from optimizing this"

Change PPCG4 CGEMM_M to match kernel change

Change complex DOT and ROT to generic kernels and switch CGEMM

in response to test failures seen in #2628 and BLAS-Tester

Keep Apple Clang from optimizing this

Keep apple clang 11.0.3 from trying to optimize this (and running out of registers)

Print CPU info in output

Add Github Actions test for DYNAMIC_ARCH builds

Update f_check

Merge pull request #2636 from martin-frbg/issue2634

Fix CMAKE build Issues on OS X

Disable EXPRECISION and add -lm on OSX (same as the BSDs and Linux)

Document option USE_LOCKING

Merge pull request #2635 from ilayn/patch-1

BUG: Fix the loop range in ZHEEQUB.f

BUG: Fix the loop range in ZHEEQUB.f

Use the fortran compiler to link LAPACK-related benchmarks

to fix linking problems with (at least) the AMD version of flang that creates dependencies on more than just the fortran runtime.

add support for RETURN_BY_STACK semantics, e.g. clang

remove libomp from link list only for pgfortran

at least the AMD (aocc) flavor of flang wants to link to a (real or dummy) libomp by default

Merge pull request #59 from xianyi/develop

rebase

Merge pull request #2627 from pkubaj/patch-1

Add powerpc (32-bit)

Merge pull request #2626 from docularxu/working-gcc-version-detections

make GCC version detection OS-independent

Add powerpc (32-bit)

Only powerpc64 is present.

make GCC version detection OS-independent

Previous design put GCC version detection inside of OSNAME 'WINNT'.
However, such detections are required for 'Linux' and possibly other
OS'es as well. For example, there is usage of the GCC versions
in Makefile.arm64. When compiling on Linux machine, in the previous
design, Markfile.arm64 will not know the correct GCC version.

The fix is to move GCC version detection into common part, not
wrapped by anything.

Signed-off-by: Guodong Xu <guodong.xu@linaro.com>

Merge pull request #2618 from craft-zhang/cortex-A53

Improve performance of SGEMM and STRMM on Arm Cortex-A53

update CONTRIBUTORS.md, adding myself

split cortex-a53 param to match 8x8 kernel

update sgemm and strmm kernel selecting strategy

use general register to speedup

align general register using to strmm_kernel_8x8

sgemm kernel use sgemm_kernel_8x8_cortexa53

Signed-off-by: zhangdanfeng <zhangdanfeng@cloudwalk.cn>

optimized for cortex-a53

Signed-off-by: zhangdanfeng <zhangdanfeng@cloudwalk.cn>

Merge pull request #2623 from mhillenibm/zarch_dgemm_z14

s390x: Use new sgemm kernel also for DGEMM and DTRMM on Z14 (+ small cleanup)

s390x: Use new sgemm kernel also for DGEMM and DTRMM on Z14

Apply our new GEMM kernel implementation, written in C with vector intrinsics,
also for DGEMM and DTRMM on Z14 and newer (i.e., architectures with FP32 SIMD
instructions). As a result, we gain around 10% in performance on z15, in
addition to improving maintainability.

Signed-off-by: Marius Hillenbrand <mhillen@linux.ibm.com>

s390x/GEMM: replace 0-init with peeled first iteration

... since it gains another ~2% of SGEMM and DGEMM performance on z15;
also, the code just called for that cleanup.

Signed-off-by: Marius Hillenbrand <mhillen@linux.ibm.com>

Merge pull request #2622 from martin-frbg/issue2619

Improve declaration of LAPACKE_get_nancheck

Improve declaration of LAPACKE_get_nancheck