param.h

   1 /*****************************************************************************
   2 Copyright (c) 2011-2014, The OpenBLAS Project
   3 All rights reserved.
   4
   5 Redistribution and use in source and binary forms, with or without
   6 modification, are permitted provided that the following conditions are
   7 met:
   8
   9    1. Redistributions of source code must retain the above copyright
  10       notice, this list of conditions and the following disclaimer.
  11
  12    2. Redistributions in binary form must reproduce the above copyright
  13       notice, this list of conditions and the following disclaimer in
  14       the documentation and/or other materials provided with the
  15       distribution.
  16    3. Neither the name of the OpenBLAS project nor the names of
  17       its contributors may be used to endorse or promote products
  18       derived from this software without specific prior written
  19       permission.
  20
  21 THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS"
  22 AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  23 IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  24 ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR CONTRIBUTORS BE
  25 LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  26 DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
  27 SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER
  28 CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,
  29 OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE
  30 USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  31
  32 **********************************************************************************/
  33
  34 /*********************************************************************/
  35 /* Copyright 2009, 2010 The University of Texas at Austin.           */
  36 /* All rights reserved.                                              */
  37 /*                                                                   */
  38 /* Redistribution and use in source and binary forms, with or        */
  39 /* without modification, are permitted provided that the following   */
  40 /* conditions are met:                                               */
  41 /*                                                                   */
  42 /*   1. Redistributions of source code must retain the above         */
  43 /*      copyright notice, this list of conditions and the following  */
  44 /*      disclaimer.                                                  */
  45 /*                                                                   */
  46 /*   2. Redistributions in binary form must reproduce the above      */
  47 /*      copyright notice, this list of conditions and the following  */
  48 /*      disclaimer in the documentation and/or other materials       */
  49 /*      provided with the distribution.                              */
  50 /*                                                                   */
  51 /*    THIS  SOFTWARE IS PROVIDED  BY THE  UNIVERSITY OF  TEXAS AT    */
  52 /*    AUSTIN  ``AS IS''  AND ANY  EXPRESS OR  IMPLIED WARRANTIES,    */
  53 /*    INCLUDING, BUT  NOT LIMITED  TO, THE IMPLIED  WARRANTIES OF    */
  54 /*    MERCHANTABILITY  AND FITNESS FOR  A PARTICULAR  PURPOSE ARE    */
  55 /*    DISCLAIMED.  IN  NO EVENT SHALL THE UNIVERSITY  OF TEXAS AT    */
  56 /*    AUSTIN OR CONTRIBUTORS BE  LIABLE FOR ANY DIRECT, INDIRECT,    */
  57 /*    INCIDENTAL,  SPECIAL, EXEMPLARY,  OR  CONSEQUENTIAL DAMAGES    */
  58 /*    (INCLUDING, BUT  NOT LIMITED TO,  PROCUREMENT OF SUBSTITUTE    */
  59 /*    GOODS  OR  SERVICES; LOSS  OF  USE,  DATA,  OR PROFITS;  OR    */
  60 /*    BUSINESS INTERRUPTION) HOWEVER CAUSED  AND ON ANY THEORY OF    */
  61 /*    LIABILITY, WHETHER  IN CONTRACT, STRICT  LIABILITY, OR TORT    */
  62 /*    (INCLUDING NEGLIGENCE OR OTHERWISE)  ARISING IN ANY WAY OUT    */
  63 /*    OF  THE  USE OF  THIS  SOFTWARE,  EVEN  IF ADVISED  OF  THE    */
  64 /*    POSSIBILITY OF SUCH DAMAGE.                                    */
  65 /*                                                                   */
  66 /* The views and conclusions contained in the software and           */
  67 /* documentation are those of the authors and should not be          */
  68 /* interpreted as representing official policies, either expressed   */
  69 /* or implied, of The University of Texas at Austin.                 */
  70 /*********************************************************************/
  71
  72 #ifndef PARAM_H
  73 #define PARAM_H
  74
  75
  76 #define SBGEMM_DEFAULT_UNROLL_N 4
  77 #define SBGEMM_DEFAULT_UNROLL_M 8
  78 #define SBGEMM_DEFAULT_UNROLL_MN 32
  79 #define SBGEMM_DEFAULT_P 256
  80 #define SBGEMM_DEFAULT_R 256
  81 #define SBGEMM_DEFAULT_Q 256
  82 #ifdef OPTERON
  83
  84 #define SNUMOPT         4
  85 #define DNUMOPT         2
  86
  87 #define GEMM_DEFAULT_OFFSET_A  64
  88 #define GEMM_DEFAULT_OFFSET_B 256
  89 #define GEMM_DEFAULT_ALIGN (BLASLONG)0x01ffffUL
  90
  91 #define SGEMM_DEFAULT_UNROLL_N 4
  92 #define DGEMM_DEFAULT_UNROLL_N 4
  93 #define QGEMM_DEFAULT_UNROLL_N 2
  94 #define CGEMM_DEFAULT_UNROLL_N 2
  95 #define ZGEMM_DEFAULT_UNROLL_N 2
  96 #define XGEMM_DEFAULT_UNROLL_N 1
  97
  98 #ifdef ARCH_X86
  99 #define SGEMM_DEFAULT_UNROLL_M 4
 100 #define DGEMM_DEFAULT_UNROLL_M 2
 101 #define QGEMM_DEFAULT_UNROLL_M 2
 102 #define CGEMM_DEFAULT_UNROLL_M 2
 103 #define ZGEMM_DEFAULT_UNROLL_M 1
 104 #define XGEMM_DEFAULT_UNROLL_M 1
 105 #else
 106 #define SGEMM_DEFAULT_UNROLL_M 8
 107 #define DGEMM_DEFAULT_UNROLL_M 4
 108 #define QGEMM_DEFAULT_UNROLL_M 2
 109 #define CGEMM_DEFAULT_UNROLL_M 4
 110 #define ZGEMM_DEFAULT_UNROLL_M 2
 111 #define XGEMM_DEFAULT_UNROLL_M 1
 112 #endif
 113
 114 #define SGEMM_DEFAULT_P sgemm_p
 115 #define DGEMM_DEFAULT_P dgemm_p
 116 #define QGEMM_DEFAULT_P qgemm_p
 117 #define CGEMM_DEFAULT_P cgemm_p
 118 #define ZGEMM_DEFAULT_P zgemm_p
 119 #define XGEMM_DEFAULT_P xgemm_p
 120
 121 #define SGEMM_DEFAULT_R sgemm_r
 122 #define DGEMM_DEFAULT_R dgemm_r
 123 #define QGEMM_DEFAULT_R qgemm_r
 124 #define CGEMM_DEFAULT_R cgemm_r
 125 #define ZGEMM_DEFAULT_R zgemm_r
 126 #define XGEMM_DEFAULT_R xgemm_r
 127
 128 #ifdef ALLOC_HUGETLB
 129
 130 #define SGEMM_DEFAULT_Q 248
 131 #define DGEMM_DEFAULT_Q 248
 132 #define QGEMM_DEFAULT_Q 248
 133 #define CGEMM_DEFAULT_Q 248
 134 #define ZGEMM_DEFAULT_Q 248
 135 #define XGEMM_DEFAULT_Q 248
 136
 137 #else
 138
 139 #define SGEMM_DEFAULT_Q 240
 140 #define DGEMM_DEFAULT_Q 240
 141 #define QGEMM_DEFAULT_Q 240
 142 #define CGEMM_DEFAULT_Q 240
 143 #define ZGEMM_DEFAULT_Q 240
 144 #define XGEMM_DEFAULT_Q 240
 145
 146 #endif
 147
 148
 149 #define SYMV_P  16
 150 #define HAVE_EXCLUSIVE_CACHE
 151
 152 #endif
 153
 154 #if defined(BARCELONA) || defined(SHANGHAI) || defined(BOBCAT)
 155
 156 #define SNUMOPT         8
 157 #define DNUMOPT         4
 158
 159 #define GEMM_DEFAULT_OFFSET_A  64
 160 #define GEMM_DEFAULT_OFFSET_B 832
 161 #define GEMM_DEFAULT_ALIGN (BLASLONG)0x0fffUL
 162
 163 #define SGEMM_DEFAULT_UNROLL_N 4
 164 #define DGEMM_DEFAULT_UNROLL_N 4
 165 #define QGEMM_DEFAULT_UNROLL_N 2
 166 #define CGEMM_DEFAULT_UNROLL_N 2
 167 #define ZGEMM_DEFAULT_UNROLL_N 2
 168 #define XGEMM_DEFAULT_UNROLL_N 1
 169
 170 #ifdef ARCH_X86
 171 #define SGEMM_DEFAULT_UNROLL_M 4
 172 #define DGEMM_DEFAULT_UNROLL_M 2
 173 #define QGEMM_DEFAULT_UNROLL_M 2
 174 #define CGEMM_DEFAULT_UNROLL_M 2
 175 #define ZGEMM_DEFAULT_UNROLL_M 1
 176 #define XGEMM_DEFAULT_UNROLL_M 1
 177 #else
 178 #define SGEMM_DEFAULT_UNROLL_M 8
 179 #define DGEMM_DEFAULT_UNROLL_M 4
 180 #define QGEMM_DEFAULT_UNROLL_M 2
 181 #define CGEMM_DEFAULT_UNROLL_M 4
 182 #define ZGEMM_DEFAULT_UNROLL_M 2
 183 #define XGEMM_DEFAULT_UNROLL_M 1
 184 #endif
 185
 186 #if 0
 187 #define SGEMM_DEFAULT_P 496
 188 #define DGEMM_DEFAULT_P 248
 189 #define QGEMM_DEFAULT_P 124
 190 #define CGEMM_DEFAULT_P 248
 191 #define ZGEMM_DEFAULT_P 124
 192 #define XGEMM_DEFAULT_P  62
 193
 194 #define SGEMM_DEFAULT_Q 248
 195 #define DGEMM_DEFAULT_Q 248
 196 #define QGEMM_DEFAULT_Q 248
 197 #define CGEMM_DEFAULT_Q 248
 198 #define ZGEMM_DEFAULT_Q 248
 199 #define XGEMM_DEFAULT_Q 248
 200
 201 #else
 202
 203 #define SGEMM_DEFAULT_P 448
 204 #define DGEMM_DEFAULT_P 224
 205 #define QGEMM_DEFAULT_P 112
 206 #define CGEMM_DEFAULT_P 224
 207 #define ZGEMM_DEFAULT_P 112
 208 #define XGEMM_DEFAULT_P  56
 209
 210 #define SGEMM_DEFAULT_Q 224
 211 #define DGEMM_DEFAULT_Q 224
 212 #define QGEMM_DEFAULT_Q 224
 213 #define CGEMM_DEFAULT_Q 224
 214 #define ZGEMM_DEFAULT_Q 224
 215 #define XGEMM_DEFAULT_Q 224
 216
 217 #endif
 218
 219 #define SGEMM_DEFAULT_R sgemm_r
 220 #define QGEMM_DEFAULT_R qgemm_r
 221 #define DGEMM_DEFAULT_R dgemm_r
 222 #define CGEMM_DEFAULT_R cgemm_r
 223 #define ZGEMM_DEFAULT_R zgemm_r
 224 #define XGEMM_DEFAULT_R xgemm_r
 225
 226 #define SYMV_P  16
 227 #define HAVE_EXCLUSIVE_CACHE
 228
 229 #define GEMM_THREAD gemm_thread_mn
 230
 231 #endif
 232
 233
 234 #ifdef BULLDOZER
 235
 236 #define SNUMOPT         8
 237 #define DNUMOPT         4
 238
 239 #define GEMM_DEFAULT_OFFSET_A  64
 240 #define GEMM_DEFAULT_OFFSET_B 832
 241 #define GEMM_DEFAULT_ALIGN (BLASLONG)0x0fffUL
 242
 243
 244
 245 #define QGEMM_DEFAULT_UNROLL_N 2
 246 #define CGEMM_DEFAULT_UNROLL_N 2
 247 #define ZGEMM_DEFAULT_UNROLL_N 2
 248 #define XGEMM_DEFAULT_UNROLL_N 1
 249
 250 #ifdef ARCH_X86
 251 #define SGEMM_DEFAULT_UNROLL_N 4
 252 #define DGEMM_DEFAULT_UNROLL_N 4
 253 #define SGEMM_DEFAULT_UNROLL_M 4
 254 #define DGEMM_DEFAULT_UNROLL_M 2
 255 #define QGEMM_DEFAULT_UNROLL_M 2
 256 #define CGEMM_DEFAULT_UNROLL_M 2
 257 #define ZGEMM_DEFAULT_UNROLL_M 1
 258 #define XGEMM_DEFAULT_UNROLL_M 1
 259 #else
 260 #define SGEMM_DEFAULT_UNROLL_N 2
 261 #define DGEMM_DEFAULT_UNROLL_N 2
 262 #define SGEMM_DEFAULT_UNROLL_M 16
 263 #define DGEMM_DEFAULT_UNROLL_M 8
 264 #define QGEMM_DEFAULT_UNROLL_M 2
 265 #define CGEMM_DEFAULT_UNROLL_M 4
 266 #define ZGEMM_DEFAULT_UNROLL_M 2
 267 #define XGEMM_DEFAULT_UNROLL_M 1
 268 #define CGEMM3M_DEFAULT_UNROLL_N 4
 269 #define CGEMM3M_DEFAULT_UNROLL_M 8
 270 #define ZGEMM3M_DEFAULT_UNROLL_N 4
 271 #define ZGEMM3M_DEFAULT_UNROLL_M 4
 272
 273 #define DGEMM_DEFAULT_UNROLL_MN 16
 274 #define GEMV_UNROLL 8
 275 #endif
 276
 277
 278 #if defined(ARCH_X86_64)
 279 #define SGEMM_DEFAULT_P 768
 280 #define DGEMM_DEFAULT_P 384
 281 #else
 282 #define SGEMM_DEFAULT_P 448
 283 #define DGEMM_DEFAULT_P 224
 284 #endif
 285
 286 #define QGEMM_DEFAULT_P 112
 287 #define CGEMM_DEFAULT_P 224
 288 #define ZGEMM_DEFAULT_P 112
 289 #define XGEMM_DEFAULT_P  56
 290
 291 #if defined(ARCH_X86_64)
 292 #define SGEMM_DEFAULT_Q 168
 293 #define DGEMM_DEFAULT_Q 168
 294 #else
 295 #define SGEMM_DEFAULT_Q 224
 296 #define DGEMM_DEFAULT_Q 224
 297 #endif
 298
 299 #define QGEMM_DEFAULT_Q 224
 300 #define CGEMM_DEFAULT_Q 224
 301 #define ZGEMM_DEFAULT_Q 224
 302 #define XGEMM_DEFAULT_Q 224
 303
 304 #define CGEMM3M_DEFAULT_P 448
 305 #define ZGEMM3M_DEFAULT_P 224
 306 #define XGEMM3M_DEFAULT_P 112
 307 #define CGEMM3M_DEFAULT_Q 224
 308 #define ZGEMM3M_DEFAULT_Q 224
 309 #define XGEMM3M_DEFAULT_Q 224
 310 #define CGEMM3M_DEFAULT_R 12288
 311 #define ZGEMM3M_DEFAULT_R 12288
 312 #define XGEMM3M_DEFAULT_R 12288
 313
 314 #define SGEMM_DEFAULT_R sgemm_r
 315 #define QGEMM_DEFAULT_R qgemm_r
 316 #define DGEMM_DEFAULT_R dgemm_r
 317 #define CGEMM_DEFAULT_R cgemm_r
 318 #define ZGEMM_DEFAULT_R zgemm_r
 319 #define XGEMM_DEFAULT_R xgemm_r
 320
 321 #define SYMV_P  16
 322 #define HAVE_EXCLUSIVE_CACHE
 323
 324 #define GEMM_THREAD gemm_thread_mn
 325
 326 #endif
 327
 328 #ifdef PILEDRIVER
 329 #define SNUMOPT         8
 330 #define DNUMOPT         4
 331
 332 #define GEMM_DEFAULT_OFFSET_A  64
 333 #define GEMM_DEFAULT_OFFSET_B 832
 334 #define GEMM_DEFAULT_ALIGN (BLASLONG)0x0fffUL
 335
 336
 337
 338 #define QGEMM_DEFAULT_UNROLL_N 2
 339 #define CGEMM_DEFAULT_UNROLL_N 2
 340 #define ZGEMM_DEFAULT_UNROLL_N 2
 341 #define XGEMM_DEFAULT_UNROLL_N 1
 342
 343 #ifdef ARCH_X86
 344 #define SGEMM_DEFAULT_UNROLL_N 4
 345 #define DGEMM_DEFAULT_UNROLL_N 4
 346 #define SGEMM_DEFAULT_UNROLL_M 4
 347 #define DGEMM_DEFAULT_UNROLL_M 2
 348 #define QGEMM_DEFAULT_UNROLL_M 2
 349 #define CGEMM_DEFAULT_UNROLL_M 2
 350 #define ZGEMM_DEFAULT_UNROLL_M 1
 351 #define XGEMM_DEFAULT_UNROLL_M 1
 352 #else
 353 #define SGEMM_DEFAULT_UNROLL_N 2
 354 #define DGEMM_DEFAULT_UNROLL_N 2
 355 #define SGEMM_DEFAULT_UNROLL_M 16
 356 #define DGEMM_DEFAULT_UNROLL_M 8
 357 #define QGEMM_DEFAULT_UNROLL_M 2
 358 #define CGEMM_DEFAULT_UNROLL_M 4
 359 #define ZGEMM_DEFAULT_UNROLL_M 2
 360 #define XGEMM_DEFAULT_UNROLL_M 1
 361 #define CGEMM3M_DEFAULT_UNROLL_N 4
 362 #define CGEMM3M_DEFAULT_UNROLL_M 8
 363 #define ZGEMM3M_DEFAULT_UNROLL_N 4
 364 #define ZGEMM3M_DEFAULT_UNROLL_M 4
 365 #define GEMV_UNROLL 8
 366 #endif
 367
 368 #if defined(ARCH_X86_64)
 369 #define SGEMM_DEFAULT_P 768
 370 #define DGEMM_DEFAULT_P 768
 371 #define ZGEMM_DEFAULT_P 384
 372 #define CGEMM_DEFAULT_P 768
 373 #else
 374 #define SGEMM_DEFAULT_P 448
 375 #define DGEMM_DEFAULT_P 480
 376 #define ZGEMM_DEFAULT_P 112
 377 #define CGEMM_DEFAULT_P 224
 378 #endif
 379 #define QGEMM_DEFAULT_P 112
 380 #define XGEMM_DEFAULT_P  56
 381
 382 #if defined(ARCH_X86_64)
 383 #define SGEMM_DEFAULT_Q 192
 384 #define DGEMM_DEFAULT_Q 168
 385 #define ZGEMM_DEFAULT_Q 168
 386 #define CGEMM_DEFAULT_Q 168
 387 #else
 388 #define SGEMM_DEFAULT_Q 224
 389 #define DGEMM_DEFAULT_Q 224
 390 #define ZGEMM_DEFAULT_Q 224
 391 #define CGEMM_DEFAULT_Q 224
 392 #endif
 393 #define QGEMM_DEFAULT_Q 224
 394 #define XGEMM_DEFAULT_Q 224
 395
 396 #define CGEMM3M_DEFAULT_P 448
 397 #define ZGEMM3M_DEFAULT_P 224
 398 #define XGEMM3M_DEFAULT_P 112
 399 #define CGEMM3M_DEFAULT_Q 224
 400 #define ZGEMM3M_DEFAULT_Q 224
 401 #define XGEMM3M_DEFAULT_Q 224
 402 #define CGEMM3M_DEFAULT_R 12288
 403 #define ZGEMM3M_DEFAULT_R 12288
 404 #define XGEMM3M_DEFAULT_R 12288
 405
 406 #define SGEMM_DEFAULT_R 12288
 407 #define QGEMM_DEFAULT_R qgemm_r
 408 #define DGEMM_DEFAULT_R 12288
 409 #define CGEMM_DEFAULT_R cgemm_r
 410 #define ZGEMM_DEFAULT_R zgemm_r
 411 #define XGEMM_DEFAULT_R xgemm_r
 412
 413 #define SYMV_P  16
 414 #define HAVE_EXCLUSIVE_CACHE
 415
 416 #define GEMM_THREAD gemm_thread_mn
 417
 418 #endif
 419
 420 #ifdef STEAMROLLER
 421 #define SNUMOPT         8
 422 #define DNUMOPT         4
 423
 424 #define GEMM_DEFAULT_OFFSET_A  64
 425 #define GEMM_DEFAULT_OFFSET_B 832
 426 #define GEMM_DEFAULT_ALIGN (BLASLONG)0x0fffUL
 427
 428
 429
 430 #define QGEMM_DEFAULT_UNROLL_N 2
 431 #define CGEMM_DEFAULT_UNROLL_N 2
 432 #define ZGEMM_DEFAULT_UNROLL_N 2
 433 #define XGEMM_DEFAULT_UNROLL_N 1
 434
 435 #ifdef ARCH_X86
 436 #define SGEMM_DEFAULT_UNROLL_N 4
 437 #define DGEMM_DEFAULT_UNROLL_N 4
 438 #define SGEMM_DEFAULT_UNROLL_M 4
 439 #define DGEMM_DEFAULT_UNROLL_M 2
 440 #define QGEMM_DEFAULT_UNROLL_M 2
 441 #define CGEMM_DEFAULT_UNROLL_M 2
 442 #define ZGEMM_DEFAULT_UNROLL_M 1
 443 #define XGEMM_DEFAULT_UNROLL_M 1
 444 #else
 445 #define SGEMM_DEFAULT_UNROLL_N 2
 446 #define DGEMM_DEFAULT_UNROLL_N 2
 447 #define SGEMM_DEFAULT_UNROLL_M 16
 448 #define DGEMM_DEFAULT_UNROLL_M 8
 449 #define QGEMM_DEFAULT_UNROLL_M 2
 450 #define CGEMM_DEFAULT_UNROLL_M 4
 451 #define ZGEMM_DEFAULT_UNROLL_M 2
 452 #define XGEMM_DEFAULT_UNROLL_M 1
 453 #define CGEMM3M_DEFAULT_UNROLL_N 4
 454 #define CGEMM3M_DEFAULT_UNROLL_M 8
 455 #define ZGEMM3M_DEFAULT_UNROLL_N 4
 456 #define ZGEMM3M_DEFAULT_UNROLL_M 4
 457 #define GEMV_UNROLL 8
 458 #endif
 459
 460 #if defined(ARCH_X86_64)
 461 #define SGEMM_DEFAULT_P 768
 462 #define DGEMM_DEFAULT_P 576
 463 #define ZGEMM_DEFAULT_P 288
 464 #define CGEMM_DEFAULT_P 576
 465 #else
 466 #define SGEMM_DEFAULT_P 448
 467 #define DGEMM_DEFAULT_P 480
 468 #define ZGEMM_DEFAULT_P 112
 469 #define CGEMM_DEFAULT_P 224
 470 #endif
 471 #define QGEMM_DEFAULT_P 112
 472 #define XGEMM_DEFAULT_P  56
 473
 474 #if defined(ARCH_X86_64)
 475 #define SGEMM_DEFAULT_Q 192
 476 #define DGEMM_DEFAULT_Q 160
 477 #define ZGEMM_DEFAULT_Q 160
 478 #define CGEMM_DEFAULT_Q 160
 479 #else
 480 #define SGEMM_DEFAULT_Q 224
 481 #define DGEMM_DEFAULT_Q 224
 482 #define ZGEMM_DEFAULT_Q 224
 483 #define CGEMM_DEFAULT_Q 224
 484 #endif
 485 #define QGEMM_DEFAULT_Q 224
 486 #define XGEMM_DEFAULT_Q 224
 487
 488 #define CGEMM3M_DEFAULT_P 448
 489 #define ZGEMM3M_DEFAULT_P 224
 490 #define XGEMM3M_DEFAULT_P 112
 491 #define CGEMM3M_DEFAULT_Q 224
 492 #define ZGEMM3M_DEFAULT_Q 224
 493 #define XGEMM3M_DEFAULT_Q 224
 494 #define CGEMM3M_DEFAULT_R 12288
 495 #define ZGEMM3M_DEFAULT_R 12288
 496 #define XGEMM3M_DEFAULT_R 12288
 497
 498 #define SGEMM_DEFAULT_R 12288
 499 #define QGEMM_DEFAULT_R qgemm_r
 500 #define DGEMM_DEFAULT_R 12288
 501 #define CGEMM_DEFAULT_R cgemm_r
 502 #define ZGEMM_DEFAULT_R zgemm_r
 503 #define XGEMM_DEFAULT_R xgemm_r
 504
 505 #define SYMV_P  16
 506 #define HAVE_EXCLUSIVE_CACHE
 507
 508 #define GEMM_THREAD gemm_thread_mn
 509
 510 #endif
 511
 512
 513 #ifdef EXCAVATOR
 514 #define SNUMOPT         8
 515 #define DNUMOPT         4
 516
 517 #define GEMM_DEFAULT_OFFSET_A  64
 518 #define GEMM_DEFAULT_OFFSET_B 832
 519 #define GEMM_DEFAULT_ALIGN (BLASLONG)0x0fffUL
 520
 521
 522
 523 #define QGEMM_DEFAULT_UNROLL_N 2
 524 #define CGEMM_DEFAULT_UNROLL_N 2
 525 #define ZGEMM_DEFAULT_UNROLL_N 2
 526 #define XGEMM_DEFAULT_UNROLL_N 1
 527
 528 #ifdef ARCH_X86
 529 #define SGEMM_DEFAULT_UNROLL_N 4
 530 #define DGEMM_DEFAULT_UNROLL_N 4
 531 #define SGEMM_DEFAULT_UNROLL_M 4
 532 #define DGEMM_DEFAULT_UNROLL_M 2
 533 #define QGEMM_DEFAULT_UNROLL_M 2
 534 #define CGEMM_DEFAULT_UNROLL_M 2
 535 #define ZGEMM_DEFAULT_UNROLL_M 1
 536 #define XGEMM_DEFAULT_UNROLL_M 1
 537 #else
 538 #define SGEMM_DEFAULT_UNROLL_N 2
 539 #define DGEMM_DEFAULT_UNROLL_N 2
 540 #define SGEMM_DEFAULT_UNROLL_M 16
 541 #define DGEMM_DEFAULT_UNROLL_M 8
 542 #define QGEMM_DEFAULT_UNROLL_M 2
 543 #define CGEMM_DEFAULT_UNROLL_M 4
 544 #define ZGEMM_DEFAULT_UNROLL_M 2
 545 #define XGEMM_DEFAULT_UNROLL_M 1
 546 #define CGEMM3M_DEFAULT_UNROLL_N 4
 547 #define CGEMM3M_DEFAULT_UNROLL_M 8
 548 #define ZGEMM3M_DEFAULT_UNROLL_N 4
 549 #define ZGEMM3M_DEFAULT_UNROLL_M 4
 550 #define GEMV_UNROLL 8
 551 #endif
 552
 553 #if defined(ARCH_X86_64)
 554 #define SGEMM_DEFAULT_P 768
 555 #define DGEMM_DEFAULT_P 576
 556 #define ZGEMM_DEFAULT_P 288
 557 #define CGEMM_DEFAULT_P 576
 558 #else
 559 #define SGEMM_DEFAULT_P 448
 560 #define DGEMM_DEFAULT_P 480
 561 #define ZGEMM_DEFAULT_P 112
 562 #define CGEMM_DEFAULT_P 224
 563 #endif
 564 #define QGEMM_DEFAULT_P 112
 565 #define XGEMM_DEFAULT_P  56
 566
 567 #if defined(ARCH_X86_64)
 568 #define SGEMM_DEFAULT_Q 192
 569 #define DGEMM_DEFAULT_Q 160
 570 #define ZGEMM_DEFAULT_Q 160
 571 #define CGEMM_DEFAULT_Q 160
 572 #else
 573 #define SGEMM_DEFAULT_Q 224
 574 #define DGEMM_DEFAULT_Q 224
 575 #define ZGEMM_DEFAULT_Q 224
 576 #define CGEMM_DEFAULT_Q 224
 577 #endif
 578 #define QGEMM_DEFAULT_Q 224
 579 #define XGEMM_DEFAULT_Q 224
 580
 581 #define CGEMM3M_DEFAULT_P 448
 582 #define ZGEMM3M_DEFAULT_P 224
 583 #define XGEMM3M_DEFAULT_P 112
 584 #define CGEMM3M_DEFAULT_Q 224
 585 #define ZGEMM3M_DEFAULT_Q 224
 586 #define XGEMM3M_DEFAULT_Q 224
 587 #define CGEMM3M_DEFAULT_R 12288
 588 #define ZGEMM3M_DEFAULT_R 12288
 589 #define XGEMM3M_DEFAULT_R 12288
 590
 591 #define SGEMM_DEFAULT_R 12288
 592 #define QGEMM_DEFAULT_R qgemm_r
 593 #define DGEMM_DEFAULT_R 12288
 594 #define CGEMM_DEFAULT_R cgemm_r
 595 #define ZGEMM_DEFAULT_R zgemm_r
 596 #define XGEMM_DEFAULT_R xgemm_r
 597
 598 #define SYMV_P  16
 599 #define HAVE_EXCLUSIVE_CACHE
 600
 601 #define GEMM_THREAD gemm_thread_mn
 602
 603 #endif
 604
 605 #ifdef ZEN
 606 #define SNUMOPT         16
 607 #define DNUMOPT         8
 608
 609 #define GEMM_DEFAULT_OFFSET_A     0
 610 #define GEMM_DEFAULT_OFFSET_B     0
 611 #define GEMM_DEFAULT_ALIGN (BLASLONG)0x03fffUL
 612
 613 #define SYMV_P  8
 614
 615 #define SWITCH_RATIO    16
 616
 617 #ifdef ARCH_X86
 618
 619 #define SGEMM_DEFAULT_UNROLL_M 4
 620 #define DGEMM_DEFAULT_UNROLL_M 2
 621 #define QGEMM_DEFAULT_UNROLL_M 2
 622 #define CGEMM_DEFAULT_UNROLL_M 2
 623 #define ZGEMM_DEFAULT_UNROLL_M 1
 624 #define XGEMM_DEFAULT_UNROLL_M 1
 625
 626 #define SGEMM_DEFAULT_UNROLL_N 4
 627 #define DGEMM_DEFAULT_UNROLL_N 4
 628 #define QGEMM_DEFAULT_UNROLL_N 2
 629 #define CGEMM_DEFAULT_UNROLL_N 2
 630 #define ZGEMM_DEFAULT_UNROLL_N 2
 631 #define XGEMM_DEFAULT_UNROLL_N 1
 632
 633 #else
 634
 635 #define SGEMM_DEFAULT_UNROLL_M 8
 636 #define DGEMM_DEFAULT_UNROLL_M 4
 637 #define QGEMM_DEFAULT_UNROLL_M 2
 638 #define CGEMM_DEFAULT_UNROLL_M 8
 639 #define ZGEMM_DEFAULT_UNROLL_M 4
 640 #define XGEMM_DEFAULT_UNROLL_M 1
 641
 642 #define SGEMM_DEFAULT_UNROLL_N 4
 643 #define DGEMM_DEFAULT_UNROLL_N 8
 644 #define QGEMM_DEFAULT_UNROLL_N 2
 645 #define CGEMM_DEFAULT_UNROLL_N 2
 646 #define ZGEMM_DEFAULT_UNROLL_N 2
 647 #define XGEMM_DEFAULT_UNROLL_N 1
 648 /*
 649 #define SGEMM_DEFAULT_UNROLL_MN 32
 650 #define DGEMM_DEFAULT_UNROLL_MN 32
 651 */
 652 #endif
 653
 654 #ifdef ARCH_X86
 655
 656 #define SGEMM_DEFAULT_P 512
 657 #define SGEMM_DEFAULT_R sgemm_r
 658 #define DGEMM_DEFAULT_P 512
 659 #define DGEMM_DEFAULT_R dgemm_r
 660 #define QGEMM_DEFAULT_P 504
 661 #define QGEMM_DEFAULT_R qgemm_r
 662 #define CGEMM_DEFAULT_P 128
 663 #define CGEMM_DEFAULT_R 1024
 664 #define ZGEMM_DEFAULT_P 512
 665 #define ZGEMM_DEFAULT_R zgemm_r
 666 #define XGEMM_DEFAULT_P 252
 667 #define XGEMM_DEFAULT_R xgemm_r
 668 #define SGEMM_DEFAULT_Q 256
 669 #define DGEMM_DEFAULT_Q 256
 670 #define QGEMM_DEFAULT_Q 128
 671 #define CGEMM_DEFAULT_Q 256
 672 #define ZGEMM_DEFAULT_Q 192
 673 #define XGEMM_DEFAULT_Q 128
 674
 675 #else
 676
 677 #define SGEMM_DEFAULT_P 320
 678 #define DGEMM_DEFAULT_P 512
 679 #define CGEMM_DEFAULT_P 256
 680 #define ZGEMM_DEFAULT_P 192
 681
 682 #ifdef WINDOWS_ABI
 683 #define SGEMM_DEFAULT_Q 320
 684 #define DGEMM_DEFAULT_Q 128
 685 #else
 686 #define SGEMM_DEFAULT_Q 320
 687 #define DGEMM_DEFAULT_Q 256
 688 #endif
 689 #define CGEMM_DEFAULT_Q 256
 690 #define ZGEMM_DEFAULT_Q 192
 691
 692 #define SGEMM_DEFAULT_R sgemm_r
 693 #define DGEMM_DEFAULT_R 13824
 694 #define CGEMM_DEFAULT_R cgemm_r
 695 #define ZGEMM_DEFAULT_R zgemm_r
 696
 697 #define QGEMM_DEFAULT_Q 128
 698 #define QGEMM_DEFAULT_P 504
 699 #define QGEMM_DEFAULT_R qgemm_r
 700 #define XGEMM_DEFAULT_P 252
 701 #define XGEMM_DEFAULT_R xgemm_r
 702 #define XGEMM_DEFAULT_Q 128
 703
 704 #define CGEMM3M_DEFAULT_UNROLL_N 4
 705 #define CGEMM3M_DEFAULT_UNROLL_M 8
 706 #define ZGEMM3M_DEFAULT_UNROLL_N 4
 707 #define ZGEMM3M_DEFAULT_UNROLL_M 4
 708
 709 #define CGEMM3M_DEFAULT_P 320
 710 #define ZGEMM3M_DEFAULT_P 256
 711 #define XGEMM3M_DEFAULT_P 112
 712 #define CGEMM3M_DEFAULT_Q 320
 713 #define ZGEMM3M_DEFAULT_Q 256
 714 #define XGEMM3M_DEFAULT_Q 224
 715 #define CGEMM3M_DEFAULT_R 12288
 716 #define ZGEMM3M_DEFAULT_R 12288
 717 #define XGEMM3M_DEFAULT_R 12288
 718
 719 #endif
 720
 721 #endif
 722
 723 #ifdef ATHLON
 724
 725 #define SNUMOPT         4
 726 #define DNUMOPT         2
 727
 728 #define GEMM_DEFAULT_OFFSET_A   0
 729 #define GEMM_DEFAULT_OFFSET_B 384
 730 #define GEMM_DEFAULT_ALIGN (BLASLONG)0x0ffffUL
 731
 732 #define SGEMM_DEFAULT_UNROLL_N 4
 733 #define DGEMM_DEFAULT_UNROLL_N 4
 734 #define QGEMM_DEFAULT_UNROLL_N 2
 735 #define CGEMM_DEFAULT_UNROLL_N 2
 736 #define ZGEMM_DEFAULT_UNROLL_N 2
 737 #define XGEMM_DEFAULT_UNROLL_N 1
 738
 739 #define SGEMM_DEFAULT_UNROLL_M 2
 740 #define DGEMM_DEFAULT_UNROLL_M 1
 741 #define QGEMM_DEFAULT_UNROLL_M 2
 742 #define CGEMM_DEFAULT_UNROLL_M 1
 743 #define ZGEMM_DEFAULT_UNROLL_M 1
 744 #define XGEMM_DEFAULT_UNROLL_M 1
 745
 746 #define SGEMM_DEFAULT_R sgemm_r
 747 #define DGEMM_DEFAULT_R dgemm_r
 748 #define QGEMM_DEFAULT_R qgemm_r
 749 #define CGEMM_DEFAULT_R cgemm_r
 750 #define ZGEMM_DEFAULT_R zgemm_r
 751 #define XGEMM_DEFAULT_R xgemm_r
 752
 753 #define SGEMM_DEFAULT_P 208
 754 #define DGEMM_DEFAULT_P 104
 755 #define QGEMM_DEFAULT_P  56
 756 #define CGEMM_DEFAULT_P 104
 757 #define ZGEMM_DEFAULT_P  56
 758 #define XGEMM_DEFAULT_P  28
 759
 760 #define SGEMM_DEFAULT_Q 208
 761 #define DGEMM_DEFAULT_Q 208
 762 #define QGEMM_DEFAULT_Q 208
 763 #define CGEMM_DEFAULT_Q 208
 764 #define ZGEMM_DEFAULT_Q 208
 765 #define XGEMM_DEFAULT_Q 208
 766
 767 #define SYMV_P  16
 768 #define HAVE_EXCLUSIVE_CACHE
 769 #endif
 770
 771 #ifdef VIAC3
 772
 773 #define SNUMOPT         2
 774 #define DNUMOPT         1
 775
 776 #define GEMM_DEFAULT_OFFSET_A   0
 777 #define GEMM_DEFAULT_OFFSET_B 256
 778 #define GEMM_DEFAULT_ALIGN (BLASLONG)0x0ffffUL
 779
 780 #define SGEMM_DEFAULT_UNROLL_N 4
 781 #define DGEMM_DEFAULT_UNROLL_N 4
 782 #define QGEMM_DEFAULT_UNROLL_N 2
 783 #define CGEMM_DEFAULT_UNROLL_N 2
 784 #define ZGEMM_DEFAULT_UNROLL_N 2
 785 #define XGEMM_DEFAULT_UNROLL_N 1
 786
 787 #define SGEMM_DEFAULT_UNROLL_M 2
 788 #define DGEMM_DEFAULT_UNROLL_M 1
 789 #define QGEMM_DEFAULT_UNROLL_M 2
 790 #define CGEMM_DEFAULT_UNROLL_M 1
 791 #define ZGEMM_DEFAULT_UNROLL_M 1
 792 #define XGEMM_DEFAULT_UNROLL_M 1
 793
 794 #define SGEMM_DEFAULT_R sgemm_r
 795 #define DGEMM_DEFAULT_R dgemm_r
 796 #define QGEMM_DEFAULT_R qgemm_r
 797 #define CGEMM_DEFAULT_R cgemm_r
 798 #define ZGEMM_DEFAULT_R zgemm_r
 799 #define XGEMM_DEFAULT_R xgemm_r
 800
 801 #define SGEMM_DEFAULT_P 128
 802 #define DGEMM_DEFAULT_P 128
 803 #define QGEMM_DEFAULT_P 128
 804 #define CGEMM_DEFAULT_P 128
 805 #define ZGEMM_DEFAULT_P 128
 806 #define XGEMM_DEFAULT_P 128
 807
 808 #define SGEMM_DEFAULT_Q 512
 809 #define DGEMM_DEFAULT_Q 256
 810 #define QGEMM_DEFAULT_Q 256
 811 #define CGEMM_DEFAULT_Q 256
 812 #define ZGEMM_DEFAULT_Q 128
 813 #define XGEMM_DEFAULT_Q 128
 814
 815 #define SYMV_P  16
 816 #endif
 817
 818 #ifdef NANO
 819
 820 #define SNUMOPT         4
 821 #define DNUMOPT         2
 822
 823 #define GEMM_DEFAULT_OFFSET_A  64
 824 #define GEMM_DEFAULT_OFFSET_B 256
 825 #define GEMM_DEFAULT_ALIGN (BLASLONG)0x01ffffUL
 826
 827 #ifdef ARCH_X86
 828 #define SGEMM_DEFAULT_UNROLL_N 4
 829 #define DGEMM_DEFAULT_UNROLL_N 4
 830 #define QGEMM_DEFAULT_UNROLL_N 2
 831 #define CGEMM_DEFAULT_UNROLL_N 2
 832 #define ZGEMM_DEFAULT_UNROLL_N 2
 833 #define XGEMM_DEFAULT_UNROLL_N 1
 834
 835 #define SGEMM_DEFAULT_UNROLL_M 4
 836 #define DGEMM_DEFAULT_UNROLL_M 2
 837 #define QGEMM_DEFAULT_UNROLL_M 2
 838 #define CGEMM_DEFAULT_UNROLL_M 2
 839 #define ZGEMM_DEFAULT_UNROLL_M 1
 840 #define XGEMM_DEFAULT_UNROLL_M 1
 841 #else
 842 #define SGEMM_DEFAULT_UNROLL_N 8
 843 #define DGEMM_DEFAULT_UNROLL_N 4
 844 #define QGEMM_DEFAULT_UNROLL_N 2
 845 #define CGEMM_DEFAULT_UNROLL_N 4
 846 #define ZGEMM_DEFAULT_UNROLL_N 2
 847 #define XGEMM_DEFAULT_UNROLL_N 1
 848
 849 #define SGEMM_DEFAULT_UNROLL_M 4
 850 #define DGEMM_DEFAULT_UNROLL_M 4
 851 #define QGEMM_DEFAULT_UNROLL_M 2
 852 #define CGEMM_DEFAULT_UNROLL_M 2
 853 #define ZGEMM_DEFAULT_UNROLL_M 2
 854 #define XGEMM_DEFAULT_UNROLL_M 1
 855 #endif
 856
 857 #define SGEMM_DEFAULT_P 288
 858 #define DGEMM_DEFAULT_P 288
 859 #define QGEMM_DEFAULT_P 288
 860 #define CGEMM_DEFAULT_P 288
 861 #define ZGEMM_DEFAULT_P 288
 862 #define XGEMM_DEFAULT_P 288
 863
 864 #define SGEMM_DEFAULT_R sgemm_r
 865 #define DGEMM_DEFAULT_R dgemm_r
 866 #define QGEMM_DEFAULT_R qgemm_r
 867 #define CGEMM_DEFAULT_R cgemm_r
 868 #define ZGEMM_DEFAULT_R zgemm_r
 869 #define XGEMM_DEFAULT_R xgemm_r
 870
 871 #define SGEMM_DEFAULT_Q 256
 872 #define DGEMM_DEFAULT_Q 128
 873 #define QGEMM_DEFAULT_Q  64
 874 #define CGEMM_DEFAULT_Q 128
 875 #define ZGEMM_DEFAULT_Q  64
 876 #define XGEMM_DEFAULT_Q  32
 877
 878 #define SYMV_P  16
 879 #define HAVE_EXCLUSIVE_CACHE
 880
 881 #endif
 882
 883 #if defined(PENTIUM) || defined(PENTIUM2) || defined(PENTIUM3)
 884
 885 #ifdef HAVE_SSE
 886 #define SNUMOPT         2
 887 #else
 888 #define SNUMOPT         1
 889 #endif
 890 #define DNUMOPT         1
 891
 892 #define GEMM_DEFAULT_OFFSET_A 0
 893 #define GEMM_DEFAULT_OFFSET_B 0
 894 #define GEMM_DEFAULT_ALIGN (BLASLONG)0x0ffffUL
 895
 896 #ifdef HAVE_SSE
 897 #define SGEMM_DEFAULT_UNROLL_M 8
 898 #define CGEMM_DEFAULT_UNROLL_M 4
 899 #else
 900 #define SGEMM_DEFAULT_UNROLL_M 4
 901 #define CGEMM_DEFAULT_UNROLL_M 2
 902 #endif
 903 #define DGEMM_DEFAULT_UNROLL_M 2
 904 #define SGEMM_DEFAULT_UNROLL_N 2
 905 #define DGEMM_DEFAULT_UNROLL_N 2
 906 #define QGEMM_DEFAULT_UNROLL_M 2
 907 #define QGEMM_DEFAULT_UNROLL_N 2
 908 #define CGEMM_DEFAULT_UNROLL_N 1
 909 #define ZGEMM_DEFAULT_UNROLL_M 1
 910 #define ZGEMM_DEFAULT_UNROLL_N 1
 911 #define XGEMM_DEFAULT_UNROLL_M 1
 912 #define XGEMM_DEFAULT_UNROLL_N 1
 913
 914 #define SGEMM_DEFAULT_P sgemm_p
 915 #define SGEMM_DEFAULT_Q 256
 916 #define SGEMM_DEFAULT_R sgemm_r
 917
 918 #define DGEMM_DEFAULT_P dgemm_p
 919 #define DGEMM_DEFAULT_Q 256
 920 #define DGEMM_DEFAULT_R dgemm_r
 921
 922 #define QGEMM_DEFAULT_P qgemm_p
 923 #define QGEMM_DEFAULT_Q 256
 924 #define QGEMM_DEFAULT_R qgemm_r
 925
 926 #define CGEMM_DEFAULT_P cgemm_p
 927 #define CGEMM_DEFAULT_Q 256
 928 #define CGEMM_DEFAULT_R cgemm_r
 929
 930 #define ZGEMM_DEFAULT_P zgemm_p
 931 #define ZGEMM_DEFAULT_Q 256
 932 #define ZGEMM_DEFAULT_R zgemm_r
 933
 934 #define XGEMM_DEFAULT_P xgemm_p
 935 #define XGEMM_DEFAULT_Q 256
 936 #define XGEMM_DEFAULT_R xgemm_r
 937
 938 #define SYMV_P  4
 939
 940 #endif
 941
 942 #ifdef PENTIUMM
 943
 944 #define SNUMOPT         2
 945 #define DNUMOPT         1
 946
 947 #define GEMM_DEFAULT_OFFSET_A 0
 948 #define GEMM_DEFAULT_OFFSET_B 0
 949 #define GEMM_DEFAULT_ALIGN (BLASLONG)0x0ffffUL
 950
 951 #ifdef CORE_YONAH
 952 #define SGEMM_DEFAULT_UNROLL_M 4
 953 #define SGEMM_DEFAULT_UNROLL_N 4
 954 #define DGEMM_DEFAULT_UNROLL_M 2
 955 #define DGEMM_DEFAULT_UNROLL_N 4
 956 #define QGEMM_DEFAULT_UNROLL_M 2
 957 #define QGEMM_DEFAULT_UNROLL_N 2
 958 #define CGEMM_DEFAULT_UNROLL_M 2
 959 #define CGEMM_DEFAULT_UNROLL_N 2
 960 #define ZGEMM_DEFAULT_UNROLL_M 1
 961 #define ZGEMM_DEFAULT_UNROLL_N 2
 962 #define XGEMM_DEFAULT_UNROLL_M 1
 963 #define XGEMM_DEFAULT_UNROLL_N 1
 964 #else
 965 #define SGEMM_DEFAULT_UNROLL_M 8
 966 #define SGEMM_DEFAULT_UNROLL_N 2
 967 #define DGEMM_DEFAULT_UNROLL_M 2
 968 #define DGEMM_DEFAULT_UNROLL_N 2
 969 #define QGEMM_DEFAULT_UNROLL_M 2
 970 #define QGEMM_DEFAULT_UNROLL_N 2
 971 #define CGEMM_DEFAULT_UNROLL_M 4
 972 #define CGEMM_DEFAULT_UNROLL_N 1
 973 #define ZGEMM_DEFAULT_UNROLL_M 1
 974 #define ZGEMM_DEFAULT_UNROLL_N 1
 975 #define XGEMM_DEFAULT_UNROLL_M 1
 976 #define XGEMM_DEFAULT_UNROLL_N 1
 977
 978 #endif
 979
 980 #define SGEMM_DEFAULT_P sgemm_p
 981 #define SGEMM_DEFAULT_Q 256
 982 #define SGEMM_DEFAULT_R sgemm_r
 983
 984 #define DGEMM_DEFAULT_P dgemm_p
 985 #define DGEMM_DEFAULT_Q 256
 986 #define DGEMM_DEFAULT_R dgemm_r
 987
 988 #define QGEMM_DEFAULT_P qgemm_p
 989 #define QGEMM_DEFAULT_Q 256
 990 #define QGEMM_DEFAULT_R qgemm_r
 991
 992 #define CGEMM_DEFAULT_P cgemm_p
 993 #define CGEMM_DEFAULT_Q 256
 994 #define CGEMM_DEFAULT_R cgemm_r
 995
 996 #define ZGEMM_DEFAULT_P zgemm_p
 997 #define ZGEMM_DEFAULT_Q 256
 998 #define ZGEMM_DEFAULT_R zgemm_r
 999
1000 #define XGEMM_DEFAULT_P xgemm_p
1001 #define XGEMM_DEFAULT_Q 256
1002 #define XGEMM_DEFAULT_R xgemm_r
1003
1004 #define SYMV_P  4
1005 #endif
1006
1007 #ifdef CORE_NORTHWOOD
1008
1009 #define SNUMOPT         4
1010 #define DNUMOPT         2
1011
1012 #define GEMM_DEFAULT_OFFSET_A      0
1013 #define GEMM_DEFAULT_OFFSET_B     32
1014
1015 #define GEMM_DEFAULT_ALIGN (BLASLONG)0x0ffffUL
1016
1017 #define SYMV_P  8
1018
1019 #define SGEMM_DEFAULT_UNROLL_M 8
1020 #define DGEMM_DEFAULT_UNROLL_M 4
1021 #define QGEMM_DEFAULT_UNROLL_M 2
1022 #define CGEMM_DEFAULT_UNROLL_M 4
1023 #define ZGEMM_DEFAULT_UNROLL_M 2
1024 #define XGEMM_DEFAULT_UNROLL_M 1
1025
1026 #define SGEMM_DEFAULT_UNROLL_N 2
1027 #define DGEMM_DEFAULT_UNROLL_N 2
1028 #define QGEMM_DEFAULT_UNROLL_N 2
1029 #define CGEMM_DEFAULT_UNROLL_N 1
1030 #define ZGEMM_DEFAULT_UNROLL_N 1
1031 #define XGEMM_DEFAULT_UNROLL_N 1
1032
1033 #define SGEMM_DEFAULT_P sgemm_p
1034 #define SGEMM_DEFAULT_R sgemm_r
1035
1036 #define DGEMM_DEFAULT_P dgemm_p
1037 #define DGEMM_DEFAULT_R dgemm_r
1038
1039 #define QGEMM_DEFAULT_P qgemm_p
1040 #define QGEMM_DEFAULT_R qgemm_r
1041
1042 #define CGEMM_DEFAULT_P cgemm_p
1043 #define CGEMM_DEFAULT_R cgemm_r
1044
1045 #define ZGEMM_DEFAULT_P zgemm_p
1046 #define ZGEMM_DEFAULT_R zgemm_r
1047
1048 #define XGEMM_DEFAULT_P xgemm_p
1049 #define XGEMM_DEFAULT_R xgemm_r
1050
1051 #define SGEMM_DEFAULT_Q 128
1052 #define DGEMM_DEFAULT_Q 128
1053 #define QGEMM_DEFAULT_Q 128
1054 #define CGEMM_DEFAULT_Q 128
1055 #define ZGEMM_DEFAULT_Q 128
1056 #define XGEMM_DEFAULT_Q 128
1057 #endif
1058
1059 #ifdef CORE_PRESCOTT
1060
1061 #define SNUMOPT         4
1062 #define DNUMOPT         2
1063
1064 #ifndef __64BIT__
1065 #define GEMM_DEFAULT_OFFSET_A    128
1066 #define GEMM_DEFAULT_OFFSET_B    192
1067 #else
1068 #define GEMM_DEFAULT_OFFSET_A      0
1069 #define GEMM_DEFAULT_OFFSET_B    256
1070 #endif
1071
1072 #define GEMM_DEFAULT_ALIGN (BLASLONG)0x0ffffUL
1073
1074 #define SYMV_P  8
1075
1076 #ifdef ARCH_X86
1077 #define SGEMM_DEFAULT_UNROLL_M 4
1078 #define DGEMM_DEFAULT_UNROLL_M 2
1079 #define QGEMM_DEFAULT_UNROLL_M 2
1080 #define CGEMM_DEFAULT_UNROLL_M 2
1081 #define ZGEMM_DEFAULT_UNROLL_M 1
1082 #define XGEMM_DEFAULT_UNROLL_M 1
1083 #else
1084 #define SGEMM_DEFAULT_UNROLL_M 8
1085 #define DGEMM_DEFAULT_UNROLL_M 4
1086 #define QGEMM_DEFAULT_UNROLL_M 2
1087 #define CGEMM_DEFAULT_UNROLL_M 4
1088 #define ZGEMM_DEFAULT_UNROLL_M 2
1089 #define XGEMM_DEFAULT_UNROLL_M 1
1090 #endif
1091
1092 #define SGEMM_DEFAULT_UNROLL_N 4
1093 #define DGEMM_DEFAULT_UNROLL_N 4
1094 #define QGEMM_DEFAULT_UNROLL_N 2
1095 #define CGEMM_DEFAULT_UNROLL_N 2
1096 #define ZGEMM_DEFAULT_UNROLL_N 2
1097 #define XGEMM_DEFAULT_UNROLL_N 1
1098
1099 #define SGEMM_DEFAULT_P sgemm_p
1100 #define SGEMM_DEFAULT_R sgemm_r
1101
1102 #define DGEMM_DEFAULT_P dgemm_p
1103 #define DGEMM_DEFAULT_R dgemm_r
1104
1105 #define QGEMM_DEFAULT_P qgemm_p
1106 #define QGEMM_DEFAULT_R qgemm_r
1107
1108 #define CGEMM_DEFAULT_P cgemm_p
1109 #define CGEMM_DEFAULT_R cgemm_r
1110
1111 #define ZGEMM_DEFAULT_P zgemm_p
1112 #define ZGEMM_DEFAULT_R zgemm_r
1113
1114 #define XGEMM_DEFAULT_P xgemm_p
1115 #define XGEMM_DEFAULT_R xgemm_r
1116
1117 #define SGEMM_DEFAULT_Q 128
1118 #define DGEMM_DEFAULT_Q 128
1119 #define QGEMM_DEFAULT_Q 128
1120 #define CGEMM_DEFAULT_Q 128
1121 #define ZGEMM_DEFAULT_Q 128
1122 #define XGEMM_DEFAULT_Q 128
1123 #endif
1124
1125 #ifdef CORE2
1126
1127 #define SNUMOPT         8
1128 #define DNUMOPT         4
1129
1130 #define GEMM_DEFAULT_OFFSET_A    448
1131 #define GEMM_DEFAULT_OFFSET_B    128
1132 #define GEMM_DEFAULT_ALIGN (BLASLONG)0x03fffUL
1133
1134 #define SYMV_P  8
1135
1136 #define SWITCH_RATIO    4
1137
1138 #ifdef ARCH_X86
1139 #define SGEMM_DEFAULT_UNROLL_M 8
1140 #define DGEMM_DEFAULT_UNROLL_M 4
1141 #define QGEMM_DEFAULT_UNROLL_M 2
1142 #define CGEMM_DEFAULT_UNROLL_M 4
1143 #define ZGEMM_DEFAULT_UNROLL_M 2
1144 #define XGEMM_DEFAULT_UNROLL_M 1
1145
1146 #define SGEMM_DEFAULT_UNROLL_N 2
1147 #define DGEMM_DEFAULT_UNROLL_N 2
1148 #define QGEMM_DEFAULT_UNROLL_N 2
1149 #define CGEMM_DEFAULT_UNROLL_N 1
1150 #define ZGEMM_DEFAULT_UNROLL_N 1
1151 #define XGEMM_DEFAULT_UNROLL_N 1
1152
1153 #define MASK(a, b) ((((a) + (b) - 1) / (b)) * (b))
1154
1155 #else
1156 #define SGEMM_DEFAULT_UNROLL_M 8
1157 #define DGEMM_DEFAULT_UNROLL_M 4
1158 #define QGEMM_DEFAULT_UNROLL_M 2
1159 #define CGEMM_DEFAULT_UNROLL_M 4
1160 #define ZGEMM_DEFAULT_UNROLL_M 2
1161 #define XGEMM_DEFAULT_UNROLL_M 1
1162
1163 #define SGEMM_DEFAULT_UNROLL_N 4
1164 #define DGEMM_DEFAULT_UNROLL_N 4
1165 #define QGEMM_DEFAULT_UNROLL_N 2
1166 #define CGEMM_DEFAULT_UNROLL_N 2
1167 #define ZGEMM_DEFAULT_UNROLL_N 2
1168 #define XGEMM_DEFAULT_UNROLL_N 1
1169 #endif
1170
1171 #define SGEMM_DEFAULT_P sgemm_p
1172 #define SGEMM_DEFAULT_R sgemm_r
1173
1174 #define DGEMM_DEFAULT_P dgemm_p
1175 #define DGEMM_DEFAULT_R dgemm_r
1176
1177 #define QGEMM_DEFAULT_P qgemm_p
1178 #define QGEMM_DEFAULT_R qgemm_r
1179
1180 #define CGEMM_DEFAULT_P cgemm_p
1181 #define CGEMM_DEFAULT_R cgemm_r
1182
1183 #define ZGEMM_DEFAULT_P zgemm_p
1184 #define ZGEMM_DEFAULT_R zgemm_r
1185
1186 #define XGEMM_DEFAULT_P xgemm_p
1187 #define XGEMM_DEFAULT_R xgemm_r
1188
1189 #define SGEMM_DEFAULT_Q 256
1190 #define DGEMM_DEFAULT_Q 256
1191 #define QGEMM_DEFAULT_Q 256
1192 #define CGEMM_DEFAULT_Q 256
1193 #define ZGEMM_DEFAULT_Q 256
1194 #define XGEMM_DEFAULT_Q 256
1195
1196 #endif
1197
1198 #ifdef PENRYN
1199
1200 #define SNUMOPT         8
1201 #define DNUMOPT         4
1202
1203 #define GEMM_DEFAULT_OFFSET_A   128
1204 #define GEMM_DEFAULT_OFFSET_B     0
1205 #define GEMM_DEFAULT_ALIGN (BLASLONG)0x03fffUL
1206
1207 #define SYMV_P  8
1208
1209 #define SWITCH_RATIO    4
1210
1211 #ifdef ARCH_X86
1212 #define SGEMM_DEFAULT_UNROLL_M 4
1213 #define DGEMM_DEFAULT_UNROLL_M 2
1214 #define QGEMM_DEFAULT_UNROLL_M 2
1215 #define CGEMM_DEFAULT_UNROLL_M 2
1216 #define ZGEMM_DEFAULT_UNROLL_M 1
1217 #define XGEMM_DEFAULT_UNROLL_M 1
1218
1219 #define SGEMM_DEFAULT_UNROLL_N 4
1220 #define DGEMM_DEFAULT_UNROLL_N 4
1221 #define QGEMM_DEFAULT_UNROLL_N 2
1222 #define CGEMM_DEFAULT_UNROLL_N 2
1223 #define ZGEMM_DEFAULT_UNROLL_N 2
1224 #define XGEMM_DEFAULT_UNROLL_N 1
1225 #else
1226 #define SGEMM_DEFAULT_UNROLL_M 8
1227 #define DGEMM_DEFAULT_UNROLL_M 4
1228 #define QGEMM_DEFAULT_UNROLL_M 2
1229 #define CGEMM_DEFAULT_UNROLL_M 4
1230 #define ZGEMM_DEFAULT_UNROLL_M 2
1231 #define XGEMM_DEFAULT_UNROLL_M 1
1232
1233 #define SGEMM_DEFAULT_UNROLL_N 4
1234 #define DGEMM_DEFAULT_UNROLL_N 4
1235 #define QGEMM_DEFAULT_UNROLL_N 2
1236 #define CGEMM_DEFAULT_UNROLL_N 2
1237 #define ZGEMM_DEFAULT_UNROLL_N 2
1238 #define XGEMM_DEFAULT_UNROLL_N 1
1239 #endif
1240
1241 #define SGEMM_DEFAULT_P sgemm_p
1242 #define SGEMM_DEFAULT_R sgemm_r
1243
1244 #define DGEMM_DEFAULT_P dgemm_p
1245 #define DGEMM_DEFAULT_R dgemm_r
1246
1247 #define QGEMM_DEFAULT_P qgemm_p
1248 #define QGEMM_DEFAULT_R qgemm_r
1249
1250 #define CGEMM_DEFAULT_P cgemm_p
1251 #define CGEMM_DEFAULT_R cgemm_r
1252
1253 #define ZGEMM_DEFAULT_P zgemm_p
1254 #define ZGEMM_DEFAULT_R zgemm_r
1255
1256 #define XGEMM_DEFAULT_P xgemm_p
1257 #define XGEMM_DEFAULT_R xgemm_r
1258
1259 #define SGEMM_DEFAULT_Q 512
1260 #define DGEMM_DEFAULT_Q 256
1261 #define QGEMM_DEFAULT_Q 128
1262 #define CGEMM_DEFAULT_Q 512
1263 #define ZGEMM_DEFAULT_Q 256
1264 #define XGEMM_DEFAULT_Q 128
1265
1266 #define GETRF_FACTOR 0.75
1267 #endif
1268
1269 #ifdef DUNNINGTON
1270
1271 #define SNUMOPT         8
1272 #define DNUMOPT         4
1273
1274 #define GEMM_DEFAULT_OFFSET_A   128
1275 #define GEMM_DEFAULT_OFFSET_B     0
1276 #define GEMM_DEFAULT_ALIGN (BLASLONG)0x03fffUL
1277
1278 #define SYMV_P  8
1279
1280 #define SWITCH_RATIO    4
1281
1282 #ifdef ARCH_X86
1283 #define SGEMM_DEFAULT_UNROLL_M 4
1284 #define DGEMM_DEFAULT_UNROLL_M 2
1285 #define QGEMM_DEFAULT_UNROLL_M 2
1286 #define CGEMM_DEFAULT_UNROLL_M 2
1287 #define ZGEMM_DEFAULT_UNROLL_M 1
1288 #define XGEMM_DEFAULT_UNROLL_M 1
1289
1290 #define SGEMM_DEFAULT_UNROLL_N 4
1291 #define DGEMM_DEFAULT_UNROLL_N 4
1292 #define QGEMM_DEFAULT_UNROLL_N 2
1293 #define CGEMM_DEFAULT_UNROLL_N 2
1294 #define ZGEMM_DEFAULT_UNROLL_N 2
1295 #define XGEMM_DEFAULT_UNROLL_N 1
1296 #else
1297 #define SGEMM_DEFAULT_UNROLL_M 8
1298 #define DGEMM_DEFAULT_UNROLL_M 4
1299 #define QGEMM_DEFAULT_UNROLL_M 2
1300 #define CGEMM_DEFAULT_UNROLL_M 4
1301 #define ZGEMM_DEFAULT_UNROLL_M 2
1302 #define XGEMM_DEFAULT_UNROLL_M 1
1303
1304 #define SGEMM_DEFAULT_UNROLL_N 4
1305 #define DGEMM_DEFAULT_UNROLL_N 4
1306 #define QGEMM_DEFAULT_UNROLL_N 2
1307 #define CGEMM_DEFAULT_UNROLL_N 2
1308 #define ZGEMM_DEFAULT_UNROLL_N 2
1309 #define XGEMM_DEFAULT_UNROLL_N 1
1310 #endif
1311
1312 #define SGEMM_DEFAULT_P sgemm_p
1313 #define SGEMM_DEFAULT_R sgemm_r
1314
1315 #define DGEMM_DEFAULT_P dgemm_p
1316 #define DGEMM_DEFAULT_R dgemm_r
1317
1318 #define QGEMM_DEFAULT_P qgemm_p
1319 #define QGEMM_DEFAULT_R qgemm_r
1320
1321 #define CGEMM_DEFAULT_P cgemm_p
1322 #define CGEMM_DEFAULT_R cgemm_r
1323
1324 #define ZGEMM_DEFAULT_P zgemm_p
1325 #define ZGEMM_DEFAULT_R zgemm_r
1326
1327 #define XGEMM_DEFAULT_P xgemm_p
1328 #define XGEMM_DEFAULT_R xgemm_r
1329
1330 #define SGEMM_DEFAULT_Q 768
1331 #define DGEMM_DEFAULT_Q 384
1332 #define QGEMM_DEFAULT_Q 192
1333 #define CGEMM_DEFAULT_Q 768
1334 #define ZGEMM_DEFAULT_Q 384
1335 #define XGEMM_DEFAULT_Q 192
1336
1337 #define GETRF_FACTOR 0.75
1338 #define GEMM_THREAD gemm_thread_mn
1339 #endif
1340
1341 #ifdef NEHALEM
1342
1343 #define SNUMOPT         8
1344 #define DNUMOPT         4
1345
1346 #define GEMM_DEFAULT_OFFSET_A    32
1347 #define GEMM_DEFAULT_OFFSET_B     0
1348 #define GEMM_DEFAULT_ALIGN (BLASLONG)0x03fffUL
1349
1350 #define SYMV_P  8
1351
1352 #define SWITCH_RATIO    4
1353
1354 #ifdef ARCH_X86
1355 #define SGEMM_DEFAULT_UNROLL_M 4
1356 #define DGEMM_DEFAULT_UNROLL_M 2
1357 #define QGEMM_DEFAULT_UNROLL_M 2
1358 #define CGEMM_DEFAULT_UNROLL_M 2
1359 #define ZGEMM_DEFAULT_UNROLL_M 1
1360 #define XGEMM_DEFAULT_UNROLL_M 1
1361
1362 #define SGEMM_DEFAULT_UNROLL_N 4
1363 #define DGEMM_DEFAULT_UNROLL_N 4
1364 #define QGEMM_DEFAULT_UNROLL_N 2
1365 #define CGEMM_DEFAULT_UNROLL_N 2
1366 #define ZGEMM_DEFAULT_UNROLL_N 2
1367 #define XGEMM_DEFAULT_UNROLL_N 1
1368 #else
1369 #define SGEMM_DEFAULT_UNROLL_M 4
1370 #define DGEMM_DEFAULT_UNROLL_M 2
1371 #define QGEMM_DEFAULT_UNROLL_M 2
1372 #define CGEMM_DEFAULT_UNROLL_M 2
1373 #define ZGEMM_DEFAULT_UNROLL_M 1
1374 #define XGEMM_DEFAULT_UNROLL_M 1
1375
1376 #define SGEMM_DEFAULT_UNROLL_N 8
1377 #define DGEMM_DEFAULT_UNROLL_N 8
1378 #define QGEMM_DEFAULT_UNROLL_N 2
1379 #define CGEMM_DEFAULT_UNROLL_N 4
1380 #define ZGEMM_DEFAULT_UNROLL_N 4
1381 #define XGEMM_DEFAULT_UNROLL_N 1
1382 #endif
1383
1384 #define SGEMM_DEFAULT_P 504
1385 #define SGEMM_DEFAULT_R sgemm_r
1386
1387 #define DGEMM_DEFAULT_P 504
1388 #define DGEMM_DEFAULT_R dgemm_r
1389
1390 #define QGEMM_DEFAULT_P 504
1391 #define QGEMM_DEFAULT_R qgemm_r
1392
1393 #define CGEMM_DEFAULT_P 252
1394 #define CGEMM_DEFAULT_R cgemm_r
1395
1396 #define ZGEMM_DEFAULT_P 252
1397 #define ZGEMM_DEFAULT_R zgemm_r
1398
1399 #define XGEMM_DEFAULT_P 252
1400 #define XGEMM_DEFAULT_R xgemm_r
1401
1402 #define SGEMM_DEFAULT_Q 512
1403 #define DGEMM_DEFAULT_Q 256
1404 #define QGEMM_DEFAULT_Q 128
1405 #define CGEMM_DEFAULT_Q 512
1406 #define ZGEMM_DEFAULT_Q 256
1407 #define XGEMM_DEFAULT_Q 128
1408
1409 #define GETRF_FACTOR 0.72
1410
1411 #endif
1412
1413
1414 #ifdef SANDYBRIDGE
1415
1416 #define SNUMOPT         8
1417 #define DNUMOPT         4
1418
1419 #define GEMM_DEFAULT_OFFSET_A     0
1420 #define GEMM_DEFAULT_OFFSET_B     0
1421 #define GEMM_DEFAULT_ALIGN (BLASLONG)0x03fffUL
1422
1423 #define SYMV_P  8
1424
1425 #define SWITCH_RATIO    4
1426
1427 #ifdef ARCH_X86
1428 #define SGEMM_DEFAULT_UNROLL_M 4
1429 #define DGEMM_DEFAULT_UNROLL_M 2
1430 #define QGEMM_DEFAULT_UNROLL_M 2
1431 #define CGEMM_DEFAULT_UNROLL_M 2
1432 #define ZGEMM_DEFAULT_UNROLL_M 1
1433 #define XGEMM_DEFAULT_UNROLL_M 1
1434
1435 #define SGEMM_DEFAULT_UNROLL_N 4
1436 #define DGEMM_DEFAULT_UNROLL_N 4
1437 #define QGEMM_DEFAULT_UNROLL_N 2
1438 #define CGEMM_DEFAULT_UNROLL_N 2
1439 #define ZGEMM_DEFAULT_UNROLL_N 2
1440 #define XGEMM_DEFAULT_UNROLL_N 1
1441 #else
1442 #define SGEMM_DEFAULT_UNROLL_M 16
1443 #define DGEMM_DEFAULT_UNROLL_M 8
1444 #define QGEMM_DEFAULT_UNROLL_M 2
1445 #define CGEMM_DEFAULT_UNROLL_M 8
1446 #define ZGEMM_DEFAULT_UNROLL_M 1
1447 #define XGEMM_DEFAULT_UNROLL_M 1
1448
1449 #define SGEMM_DEFAULT_UNROLL_N 4
1450 #define DGEMM_DEFAULT_UNROLL_N 4
1451 #define QGEMM_DEFAULT_UNROLL_N 2
1452 #define CGEMM_DEFAULT_UNROLL_N 2
1453 #define ZGEMM_DEFAULT_UNROLL_N 4
1454 #define XGEMM_DEFAULT_UNROLL_N 1
1455 #endif
1456
1457 #define SGEMM_DEFAULT_P 768
1458 #define SGEMM_DEFAULT_R sgemm_r
1459 /*#define SGEMM_DEFAULT_R 1024*/
1460
1461 #define DGEMM_DEFAULT_P 512
1462 #define DGEMM_DEFAULT_R dgemm_r
1463 /*#define DGEMM_DEFAULT_R 1024*/
1464
1465 #define QGEMM_DEFAULT_P 504
1466 #define QGEMM_DEFAULT_R qgemm_r
1467
1468 #define CGEMM_DEFAULT_P 768
1469 #define CGEMM_DEFAULT_R cgemm_r
1470 /*#define CGEMM_DEFAULT_R 1024*/
1471
1472 #define ZGEMM_DEFAULT_P 512
1473 #define ZGEMM_DEFAULT_R zgemm_r
1474 /*#define ZGEMM_DEFAULT_R 1024*/
1475
1476 #define XGEMM_DEFAULT_P 252
1477 #define XGEMM_DEFAULT_R xgemm_r
1478
1479 #define SGEMM_DEFAULT_Q 384
1480 #define DGEMM_DEFAULT_Q 256
1481 #define QGEMM_DEFAULT_Q 128
1482 #define CGEMM_DEFAULT_Q 512
1483 #define ZGEMM_DEFAULT_Q 192
1484 #define XGEMM_DEFAULT_Q 128
1485
1486 #define CGEMM3M_DEFAULT_UNROLL_N 8
1487 #define CGEMM3M_DEFAULT_UNROLL_M 4
1488 #define ZGEMM3M_DEFAULT_UNROLL_N 8
1489 #define ZGEMM3M_DEFAULT_UNROLL_M 2
1490
1491 #define CGEMM3M_DEFAULT_P 448
1492 #define ZGEMM3M_DEFAULT_P 224
1493 #define XGEMM3M_DEFAULT_P 112
1494 #define CGEMM3M_DEFAULT_Q 224
1495 #define ZGEMM3M_DEFAULT_Q 224
1496 #define XGEMM3M_DEFAULT_Q 224
1497 #define CGEMM3M_DEFAULT_R 12288
1498 #define ZGEMM3M_DEFAULT_R 12288
1499 #define XGEMM3M_DEFAULT_R 12288
1500
1501
1502
1503 #define GETRF_FACTOR 0.72
1504
1505 #endif
1506
1507 #ifdef HASWELL
1508
1509 #define SNUMOPT         16
1510 #define DNUMOPT         8
1511
1512 #define GEMM_DEFAULT_OFFSET_A     0
1513 #define GEMM_DEFAULT_OFFSET_B     0
1514 #define GEMM_DEFAULT_ALIGN (BLASLONG)0x03fffUL
1515
1516 #define SYMV_P  8
1517
1518 #if defined(XDOUBLE) || defined(DOUBLE)
1519 #define SWITCH_RATIO            4
1520 #define GEMM_PREFERED_SIZE      4
1521 #else
1522 #define SWITCH_RATIO            8
1523 #define GEMM_PREFERED_SIZE      8
1524 #endif
1525
1526 #ifdef ARCH_X86
1527
1528 #define SGEMM_DEFAULT_UNROLL_M 4
1529 #define DGEMM_DEFAULT_UNROLL_M 2
1530 #define QGEMM_DEFAULT_UNROLL_M 2
1531 #define CGEMM_DEFAULT_UNROLL_M 2
1532 #define ZGEMM_DEFAULT_UNROLL_M 1
1533 #define XGEMM_DEFAULT_UNROLL_M 1
1534
1535 #define SGEMM_DEFAULT_UNROLL_N 4
1536 #define DGEMM_DEFAULT_UNROLL_N 4
1537 #define QGEMM_DEFAULT_UNROLL_N 2
1538 #define CGEMM_DEFAULT_UNROLL_N 2
1539 #define ZGEMM_DEFAULT_UNROLL_N 2
1540 #define XGEMM_DEFAULT_UNROLL_N 1
1541
1542 #else
1543
1544 #define SGEMM_DEFAULT_UNROLL_M 8
1545 #define DGEMM_DEFAULT_UNROLL_M 4
1546 #define QGEMM_DEFAULT_UNROLL_M 2
1547 #define CGEMM_DEFAULT_UNROLL_M 8
1548 #define ZGEMM_DEFAULT_UNROLL_M 4
1549 #define XGEMM_DEFAULT_UNROLL_M 1
1550
1551 #define SGEMM_DEFAULT_UNROLL_N 4
1552 #define DGEMM_DEFAULT_UNROLL_N 8
1553 #define QGEMM_DEFAULT_UNROLL_N 2
1554 #define CGEMM_DEFAULT_UNROLL_N 2
1555 #define ZGEMM_DEFAULT_UNROLL_N 2
1556 #define XGEMM_DEFAULT_UNROLL_N 1
1557 /*
1558 #define SGEMM_DEFAULT_UNROLL_MN 32
1559 #define DGEMM_DEFAULT_UNROLL_MN 32
1560 */
1561 #endif
1562
1563 #ifdef ARCH_X86
1564
1565 #define SGEMM_DEFAULT_P 512
1566 #define SGEMM_DEFAULT_R sgemm_r
1567 #define DGEMM_DEFAULT_P 512
1568 #define DGEMM_DEFAULT_R dgemm_r
1569 #define QGEMM_DEFAULT_P 504
1570 #define QGEMM_DEFAULT_R qgemm_r
1571 #define CGEMM_DEFAULT_P 128
1572 #define CGEMM_DEFAULT_R 1024
1573 #define ZGEMM_DEFAULT_P 512
1574 #define ZGEMM_DEFAULT_R zgemm_r
1575 #define XGEMM_DEFAULT_P 252
1576 #define XGEMM_DEFAULT_R xgemm_r
1577 #define SGEMM_DEFAULT_Q 256
1578 #define DGEMM_DEFAULT_Q 256
1579 #define QGEMM_DEFAULT_Q 128
1580 #define CGEMM_DEFAULT_Q 256
1581 #define ZGEMM_DEFAULT_Q 192
1582 #define XGEMM_DEFAULT_Q 128
1583
1584 #else
1585
1586 #define SGEMM_DEFAULT_P 320
1587 #define DGEMM_DEFAULT_P 512
1588 #define CGEMM_DEFAULT_P 256
1589 #define ZGEMM_DEFAULT_P 192
1590
1591 #ifdef WINDOWS_ABI
1592 #define SGEMM_DEFAULT_Q 320
1593 #define DGEMM_DEFAULT_Q 128
1594 #else
1595 #define SGEMM_DEFAULT_Q 320
1596 #define DGEMM_DEFAULT_Q 256
1597 #endif
1598 #define CGEMM_DEFAULT_Q 256
1599 #define ZGEMM_DEFAULT_Q 192
1600
1601 #define SGEMM_DEFAULT_R sgemm_r
1602 #define DGEMM_DEFAULT_R 13824
1603 #define CGEMM_DEFAULT_R cgemm_r
1604 #define ZGEMM_DEFAULT_R zgemm_r
1605
1606 #define QGEMM_DEFAULT_Q 128
1607 #define QGEMM_DEFAULT_P 504
1608 #define QGEMM_DEFAULT_R qgemm_r
1609 #define XGEMM_DEFAULT_P 252
1610 #define XGEMM_DEFAULT_R xgemm_r
1611 #define XGEMM_DEFAULT_Q 128
1612
1613 #define CGEMM3M_DEFAULT_UNROLL_N 4
1614 #define CGEMM3M_DEFAULT_UNROLL_M 8
1615 #define ZGEMM3M_DEFAULT_UNROLL_N 4
1616 #define ZGEMM3M_DEFAULT_UNROLL_M 4
1617
1618 #define CGEMM3M_DEFAULT_P 320
1619 #define ZGEMM3M_DEFAULT_P 256
1620 #define XGEMM3M_DEFAULT_P 112
1621 #define CGEMM3M_DEFAULT_Q 320
1622 #define ZGEMM3M_DEFAULT_Q 256
1623 #define XGEMM3M_DEFAULT_Q 224
1624 #define CGEMM3M_DEFAULT_R 12288
1625 #define ZGEMM3M_DEFAULT_R 12288
1626 #define XGEMM3M_DEFAULT_R 12288
1627
1628 #endif
1629
1630
1631 #endif
1632
1633 #ifdef SKYLAKEX
1634
1635 #define SNUMOPT         16
1636 #define DNUMOPT         8
1637
1638 #define GEMM_DEFAULT_OFFSET_A     0
1639 #define GEMM_DEFAULT_OFFSET_B     0
1640 #define GEMM_DEFAULT_ALIGN (BLASLONG)0x03fffUL
1641
1642 #define SYMV_P  8
1643
1644 #if defined(XDOUBLE) || defined(DOUBLE)
1645 #define SWITCH_RATIO           8
1646 #define GEMM_PREFERED_SIZE     8
1647 #else
1648 #define SWITCH_RATIO           16
1649 #define GEMM_PREFERED_SIZE     16
1650 #endif
1651 #define USE_SGEMM_KERNEL_DIRECT 1
1652
1653 #ifdef ARCH_X86
1654
1655 #define SGEMM_DEFAULT_UNROLL_M 4
1656 #define DGEMM_DEFAULT_UNROLL_M 2
1657 #define QGEMM_DEFAULT_UNROLL_M 2
1658 #define CGEMM_DEFAULT_UNROLL_M 2
1659 #define ZGEMM_DEFAULT_UNROLL_M 1
1660 #define XGEMM_DEFAULT_UNROLL_M 1
1661
1662 #define SGEMM_DEFAULT_UNROLL_N 4
1663 #define DGEMM_DEFAULT_UNROLL_N 4
1664 #define QGEMM_DEFAULT_UNROLL_N 2
1665 #define CGEMM_DEFAULT_UNROLL_N 2
1666 #define ZGEMM_DEFAULT_UNROLL_N 2
1667 #define XGEMM_DEFAULT_UNROLL_N 1
1668
1669 #else
1670
1671 #define SGEMM_DEFAULT_UNROLL_M 16
1672 #define DGEMM_DEFAULT_UNROLL_M 16
1673 #define QGEMM_DEFAULT_UNROLL_M 2
1674 #define CGEMM_DEFAULT_UNROLL_M 8
1675 #define ZGEMM_DEFAULT_UNROLL_M 4
1676 #define XGEMM_DEFAULT_UNROLL_M 1
1677
1678 #define SGEMM_DEFAULT_UNROLL_N 4
1679 #define DGEMM_DEFAULT_UNROLL_N 2
1680 #define QGEMM_DEFAULT_UNROLL_N 2
1681 #define CGEMM_DEFAULT_UNROLL_N 2
1682 #define ZGEMM_DEFAULT_UNROLL_N 2
1683 #define XGEMM_DEFAULT_UNROLL_N 1
1684
1685 #define SGEMM_DEFAULT_UNROLL_MN 32
1686 #define DGEMM_DEFAULT_UNROLL_MN 32
1687 #endif
1688
1689 #ifdef ARCH_X86
1690
1691 #define SGEMM_DEFAULT_P 512
1692 #define SGEMM_DEFAULT_R sgemm_r
1693 #define DGEMM_DEFAULT_P 512
1694 #define DGEMM_DEFAULT_R dgemm_r
1695 #define QGEMM_DEFAULT_P 504
1696 #define QGEMM_DEFAULT_R qgemm_r
1697 #define CGEMM_DEFAULT_P 128
1698 #define CGEMM_DEFAULT_R 1024
1699 #define ZGEMM_DEFAULT_P 512
1700 #define ZGEMM_DEFAULT_R zgemm_r
1701 #define XGEMM_DEFAULT_P 252
1702 #define XGEMM_DEFAULT_R xgemm_r
1703 #define SGEMM_DEFAULT_Q 256
1704 #define DGEMM_DEFAULT_Q 256
1705 #define QGEMM_DEFAULT_Q 128
1706 #define CGEMM_DEFAULT_Q 256
1707 #define ZGEMM_DEFAULT_Q 192
1708 #define XGEMM_DEFAULT_Q 128
1709
1710 #else
1711
1712 #define SGEMM_DEFAULT_P 448
1713 #define DGEMM_DEFAULT_P 192
1714 #define CGEMM_DEFAULT_P 384
1715 #define ZGEMM_DEFAULT_P 256
1716
1717 #define SGEMM_DEFAULT_Q 448
1718 #define DGEMM_DEFAULT_Q 384
1719 #define CGEMM_DEFAULT_Q 192
1720 #define ZGEMM_DEFAULT_Q 128
1721
1722 #define SGEMM_DEFAULT_R sgemm_r
1723 #define DGEMM_DEFAULT_R 8640
1724 #define CGEMM_DEFAULT_R cgemm_r
1725 #define ZGEMM_DEFAULT_R zgemm_r
1726
1727 #define QGEMM_DEFAULT_Q 128
1728 #define QGEMM_DEFAULT_P 504
1729 #define QGEMM_DEFAULT_R qgemm_r
1730 #define XGEMM_DEFAULT_P 252
1731 #define XGEMM_DEFAULT_R xgemm_r
1732 #define XGEMM_DEFAULT_Q 128
1733
1734 #define CGEMM3M_DEFAULT_UNROLL_N 4
1735 #define CGEMM3M_DEFAULT_UNROLL_M 8
1736 #define ZGEMM3M_DEFAULT_UNROLL_N 4
1737 #define ZGEMM3M_DEFAULT_UNROLL_M 4
1738
1739 #define CGEMM3M_DEFAULT_P 320
1740 #define ZGEMM3M_DEFAULT_P 256
1741 #define XGEMM3M_DEFAULT_P 112
1742 #define CGEMM3M_DEFAULT_Q 320
1743 #define ZGEMM3M_DEFAULT_Q 256
1744 #define XGEMM3M_DEFAULT_Q 224
1745 #define CGEMM3M_DEFAULT_R 12288
1746 #define ZGEMM3M_DEFAULT_R 12288
1747 #define XGEMM3M_DEFAULT_R 12288
1748
1749 #endif
1750
1751
1752 #endif
1753
1754 #ifdef SAPPHIRERAPIDS
1755
1756 #define SNUMOPT         16
1757 #define DNUMOPT         8
1758
1759 #define GEMM_DEFAULT_OFFSET_A     0
1760 #define GEMM_DEFAULT_OFFSET_B     0
1761 #define GEMM_DEFAULT_ALIGN 0x03fffUL
1762
1763 #define SYMV_P  8
1764
1765 #if defined(XDOUBLE) || defined(DOUBLE)
1766 #define SWITCH_RATIO           8
1767 #define GEMM_PREFERED_SIZE     8
1768 #else
1769 #define SWITCH_RATIO           16
1770 #define GEMM_PREFERED_SIZE     16
1771 #endif
1772 #define USE_SGEMM_KERNEL_DIRECT 1
1773
1774 #undef SBGEMM_DEFAULT_UNROLL_N
1775 #undef SBGEMM_DEFAULT_UNROLL_M
1776 #undef SBGEMM_DEFAULT_P
1777 #undef SBGEMM_DEFAULT_R
1778 #undef SBGEMM_DEFAULT_Q
1779 // FIXME: actually UNROLL_M = UNROLL_N = 16
1780 // If M and N is equal, OpenBLAS will reuse OCOPY as ICOPY.
1781 // But for AMX, they are not the same, set UNROLL_M = 32 to workaround
1782 #define SBGEMM_DEFAULT_UNROLL_N 16
1783 #define SBGEMM_DEFAULT_UNROLL_M 32
1784 #define SBGEMM_DEFAULT_P 256
1785 #define SBGEMM_DEFAULT_Q 1024
1786 #define SBGEMM_DEFAULT_R sbgemm_r
1787
1788 #ifdef ARCH_X86
1789
1790 #define SGEMM_DEFAULT_UNROLL_M 4
1791 #define DGEMM_DEFAULT_UNROLL_M 2
1792 #define QGEMM_DEFAULT_UNROLL_M 2
1793 #define CGEMM_DEFAULT_UNROLL_M 2
1794 #define ZGEMM_DEFAULT_UNROLL_M 1
1795 #define XGEMM_DEFAULT_UNROLL_M 1
1796
1797 #define SGEMM_DEFAULT_UNROLL_N 4
1798 #define DGEMM_DEFAULT_UNROLL_N 4
1799 #define QGEMM_DEFAULT_UNROLL_N 2
1800 #define CGEMM_DEFAULT_UNROLL_N 2
1801 #define ZGEMM_DEFAULT_UNROLL_N 2
1802 #define XGEMM_DEFAULT_UNROLL_N 1
1803
1804 #else
1805
1806 #define SGEMM_DEFAULT_UNROLL_M 16
1807 #define DGEMM_DEFAULT_UNROLL_M 16
1808 #define QGEMM_DEFAULT_UNROLL_M 2
1809 #define CGEMM_DEFAULT_UNROLL_M 8
1810 #define ZGEMM_DEFAULT_UNROLL_M 4
1811 #define XGEMM_DEFAULT_UNROLL_M 1
1812
1813 #define SGEMM_DEFAULT_UNROLL_N 4
1814 #define DGEMM_DEFAULT_UNROLL_N 2
1815 #define QGEMM_DEFAULT_UNROLL_N 2
1816 #define CGEMM_DEFAULT_UNROLL_N 2
1817 #define ZGEMM_DEFAULT_UNROLL_N 2
1818 #define XGEMM_DEFAULT_UNROLL_N 1
1819
1820 #define SGEMM_DEFAULT_UNROLL_MN 32
1821 #define DGEMM_DEFAULT_UNROLL_MN 32
1822 #endif
1823
1824 #ifdef ARCH_X86
1825
1826 #define SGEMM_DEFAULT_P 512
1827 #define SGEMM_DEFAULT_R sgemm_r
1828 #define DGEMM_DEFAULT_P 512
1829 #define DGEMM_DEFAULT_R dgemm_r
1830 #define QGEMM_DEFAULT_P 504
1831 #define QGEMM_DEFAULT_R qgemm_r
1832 #define CGEMM_DEFAULT_P 128
1833 #define CGEMM_DEFAULT_R 1024
1834 #define ZGEMM_DEFAULT_P 512
1835 #define ZGEMM_DEFAULT_R zgemm_r
1836 #define XGEMM_DEFAULT_P 252
1837 #define XGEMM_DEFAULT_R xgemm_r
1838 #define SGEMM_DEFAULT_Q 256
1839 #define DGEMM_DEFAULT_Q 256
1840 #define QGEMM_DEFAULT_Q 128
1841 #define CGEMM_DEFAULT_Q 256
1842 #define ZGEMM_DEFAULT_Q 192
1843 #define XGEMM_DEFAULT_Q 128
1844
1845 #else
1846
1847 #define SGEMM_DEFAULT_P 640
1848 #define DGEMM_DEFAULT_P 192
1849 #define CGEMM_DEFAULT_P 384
1850 #define ZGEMM_DEFAULT_P 256
1851
1852 #define SGEMM_DEFAULT_Q 320
1853 #define DGEMM_DEFAULT_Q 384
1854 #define CGEMM_DEFAULT_Q 192
1855 #define ZGEMM_DEFAULT_Q 128
1856
1857 #define SGEMM_DEFAULT_R sgemm_r
1858 #define DGEMM_DEFAULT_R 8640
1859 #define CGEMM_DEFAULT_R cgemm_r
1860 #define ZGEMM_DEFAULT_R zgemm_r
1861
1862 #define QGEMM_DEFAULT_Q 128
1863 #define QGEMM_DEFAULT_P 504
1864 #define QGEMM_DEFAULT_R qgemm_r
1865 #define XGEMM_DEFAULT_P 252
1866 #define XGEMM_DEFAULT_R xgemm_r
1867 #define XGEMM_DEFAULT_Q 128
1868
1869 #define CGEMM3M_DEFAULT_UNROLL_N 4
1870 #define CGEMM3M_DEFAULT_UNROLL_M 8
1871 #define ZGEMM3M_DEFAULT_UNROLL_N 4
1872 #define ZGEMM3M_DEFAULT_UNROLL_M 4
1873
1874 #define CGEMM3M_DEFAULT_P 320
1875 #define ZGEMM3M_DEFAULT_P 256
1876 #define XGEMM3M_DEFAULT_P 112
1877 #define CGEMM3M_DEFAULT_Q 320
1878 #define ZGEMM3M_DEFAULT_Q 256
1879 #define XGEMM3M_DEFAULT_Q 224
1880 #define CGEMM3M_DEFAULT_R 12288
1881 #define ZGEMM3M_DEFAULT_R 12288
1882 #define XGEMM3M_DEFAULT_R 12288
1883
1884 #endif
1885 #endif
1886
1887 #ifdef COOPERLAKE
1888
1889 #define SNUMOPT         16
1890 #define DNUMOPT         8
1891
1892 #define GEMM_DEFAULT_OFFSET_A     0
1893 #define GEMM_DEFAULT_OFFSET_B     0
1894 #define GEMM_DEFAULT_ALIGN 0x03fffUL
1895
1896 #define SYMV_P  8
1897
1898 #if defined(XDOUBLE) || defined(DOUBLE)
1899 #define SWITCH_RATIO           8
1900 #define GEMM_PREFERED_SIZE     8
1901 #else
1902 #define SWITCH_RATIO           16
1903 #define GEMM_PREFERED_SIZE     16
1904 #endif
1905 #define USE_SGEMM_KERNEL_DIRECT 1
1906
1907 #undef SBGEMM_DEFAULT_UNROLL_N
1908 #undef SBGEMM_DEFAULT_UNROLL_M
1909 #undef SBGEMM_DEFAULT_P
1910 #undef SBGEMM_DEFAULT_R
1911 #undef SBGEMM_DEFAULT_Q
1912 #define SBGEMM_DEFAULT_UNROLL_N 4
1913 #define SBGEMM_DEFAULT_UNROLL_M 16
1914 #define SBGEMM_DEFAULT_P 384
1915 #define SBGEMM_DEFAULT_Q 768
1916 #define SBGEMM_DEFAULT_R sbgemm_r
1917
1918 #ifdef ARCH_X86
1919
1920 #define SGEMM_DEFAULT_UNROLL_M 4
1921 #define DGEMM_DEFAULT_UNROLL_M 2
1922 #define QGEMM_DEFAULT_UNROLL_M 2
1923 #define CGEMM_DEFAULT_UNROLL_M 2
1924 #define ZGEMM_DEFAULT_UNROLL_M 1
1925 #define XGEMM_DEFAULT_UNROLL_M 1
1926
1927 #define SGEMM_DEFAULT_UNROLL_N 4
1928 #define DGEMM_DEFAULT_UNROLL_N 4
1929 #define QGEMM_DEFAULT_UNROLL_N 2
1930 #define CGEMM_DEFAULT_UNROLL_N 2
1931 #define ZGEMM_DEFAULT_UNROLL_N 2
1932 #define XGEMM_DEFAULT_UNROLL_N 1
1933
1934 #else
1935
1936 #define SGEMM_DEFAULT_UNROLL_M 16
1937 #define DGEMM_DEFAULT_UNROLL_M 16
1938 #define QGEMM_DEFAULT_UNROLL_M 2
1939 #define CGEMM_DEFAULT_UNROLL_M 8
1940 #define ZGEMM_DEFAULT_UNROLL_M 4
1941 #define XGEMM_DEFAULT_UNROLL_M 1
1942
1943 #define SGEMM_DEFAULT_UNROLL_N 4
1944 #define DGEMM_DEFAULT_UNROLL_N 2
1945 #define QGEMM_DEFAULT_UNROLL_N 2
1946 #define CGEMM_DEFAULT_UNROLL_N 2
1947 #define ZGEMM_DEFAULT_UNROLL_N 2
1948 #define XGEMM_DEFAULT_UNROLL_N 1
1949
1950 #define SGEMM_DEFAULT_UNROLL_MN 32
1951 #define DGEMM_DEFAULT_UNROLL_MN 32
1952 #endif
1953
1954 #ifdef ARCH_X86
1955
1956 #define SGEMM_DEFAULT_P 512
1957 #define SGEMM_DEFAULT_R sgemm_r
1958 #define DGEMM_DEFAULT_P 512
1959 #define DGEMM_DEFAULT_R dgemm_r
1960 #define QGEMM_DEFAULT_P 504
1961 #define QGEMM_DEFAULT_R qgemm_r
1962 #define CGEMM_DEFAULT_P 128
1963 #define CGEMM_DEFAULT_R 1024
1964 #define ZGEMM_DEFAULT_P 512
1965 #define ZGEMM_DEFAULT_R zgemm_r
1966 #define XGEMM_DEFAULT_P 252
1967 #define XGEMM_DEFAULT_R xgemm_r
1968 #define SGEMM_DEFAULT_Q 256
1969 #define DGEMM_DEFAULT_Q 256
1970 #define QGEMM_DEFAULT_Q 128
1971 #define CGEMM_DEFAULT_Q 256
1972 #define ZGEMM_DEFAULT_Q 192
1973 #define XGEMM_DEFAULT_Q 128
1974
1975 #else
1976
1977 #define SGEMM_DEFAULT_P 640
1978 #define DGEMM_DEFAULT_P 192
1979 #define CGEMM_DEFAULT_P 384
1980 #define ZGEMM_DEFAULT_P 256
1981
1982 #define SGEMM_DEFAULT_Q 320
1983 #define DGEMM_DEFAULT_Q 384
1984 #define CGEMM_DEFAULT_Q 192
1985 #define ZGEMM_DEFAULT_Q 128
1986
1987 #define SGEMM_DEFAULT_R sgemm_r
1988 #define DGEMM_DEFAULT_R 8640
1989 #define CGEMM_DEFAULT_R cgemm_r
1990 #define ZGEMM_DEFAULT_R zgemm_r
1991
1992 #define QGEMM_DEFAULT_Q 128
1993 #define QGEMM_DEFAULT_P 504
1994 #define QGEMM_DEFAULT_R qgemm_r
1995 #define XGEMM_DEFAULT_P 252
1996 #define XGEMM_DEFAULT_R xgemm_r
1997 #define XGEMM_DEFAULT_Q 128
1998
1999 #define CGEMM3M_DEFAULT_UNROLL_N 4
2000 #define CGEMM3M_DEFAULT_UNROLL_M 8
2001 #define ZGEMM3M_DEFAULT_UNROLL_N 4
2002 #define ZGEMM3M_DEFAULT_UNROLL_M 4
2003
2004 #define CGEMM3M_DEFAULT_P 320
2005 #define ZGEMM3M_DEFAULT_P 256
2006 #define XGEMM3M_DEFAULT_P 112
2007 #define CGEMM3M_DEFAULT_Q 320
2008 #define ZGEMM3M_DEFAULT_Q 256
2009 #define XGEMM3M_DEFAULT_Q 224
2010 #define CGEMM3M_DEFAULT_R 12288
2011 #define ZGEMM3M_DEFAULT_R 12288
2012 #define XGEMM3M_DEFAULT_R 12288
2013
2014 #endif
2015 #endif
2016
2017
2018 #ifdef ATOM
2019
2020 #define SNUMOPT         2
2021 #define DNUMOPT         1
2022
2023 #define GEMM_DEFAULT_OFFSET_A     64
2024 #define GEMM_DEFAULT_OFFSET_B      0
2025 #define GEMM_DEFAULT_ALIGN (BLASLONG)0x0ffffUL
2026
2027 #define SYMV_P  8
2028
2029 #ifdef ARCH_X86
2030 #define SGEMM_DEFAULT_UNROLL_M 4
2031 #define DGEMM_DEFAULT_UNROLL_M 2
2032 #define QGEMM_DEFAULT_UNROLL_M 2
2033 #define CGEMM_DEFAULT_UNROLL_M 2
2034 #define ZGEMM_DEFAULT_UNROLL_M 1
2035 #define XGEMM_DEFAULT_UNROLL_M 1
2036 #else
2037 #define SGEMM_DEFAULT_UNROLL_M 8
2038 #define DGEMM_DEFAULT_UNROLL_M 4
2039 #define QGEMM_DEFAULT_UNROLL_M 2
2040 #define CGEMM_DEFAULT_UNROLL_M 4
2041 #define ZGEMM_DEFAULT_UNROLL_M 2
2042 #define XGEMM_DEFAULT_UNROLL_M 1
2043 #endif
2044
2045 #define SGEMM_DEFAULT_UNROLL_N 4
2046 #define DGEMM_DEFAULT_UNROLL_N 2
2047 #define QGEMM_DEFAULT_UNROLL_N 2
2048 #define CGEMM_DEFAULT_UNROLL_N 2
2049 #define ZGEMM_DEFAULT_UNROLL_N 1
2050 #define XGEMM_DEFAULT_UNROLL_N 1
2051
2052 #define SGEMM_DEFAULT_P sgemm_p
2053 #define SGEMM_DEFAULT_R sgemm_r
2054
2055 #define DGEMM_DEFAULT_P dgemm_p
2056 #define DGEMM_DEFAULT_R dgemm_r
2057
2058 #define QGEMM_DEFAULT_P qgemm_p
2059 #define QGEMM_DEFAULT_R qgemm_r
2060
2061 #define CGEMM_DEFAULT_P cgemm_p
2062 #define CGEMM_DEFAULT_R cgemm_r
2063
2064 #define ZGEMM_DEFAULT_P zgemm_p
2065 #define ZGEMM_DEFAULT_R zgemm_r
2066
2067 #define XGEMM_DEFAULT_P xgemm_p
2068 #define XGEMM_DEFAULT_R xgemm_r
2069
2070 #define SGEMM_DEFAULT_Q 256
2071 #define DGEMM_DEFAULT_Q 256
2072 #define QGEMM_DEFAULT_Q 256
2073 #define CGEMM_DEFAULT_Q 256
2074 #define ZGEMM_DEFAULT_Q 256
2075 #define XGEMM_DEFAULT_Q 256
2076
2077 #endif
2078
2079
2080 #ifdef ITANIUM2
2081
2082 #define SNUMOPT         4
2083 #define DNUMOPT         4
2084
2085 #define GEMM_DEFAULT_OFFSET_A 0
2086 #define GEMM_DEFAULT_OFFSET_B 128
2087 #define GEMM_DEFAULT_ALIGN (BLASLONG)0x03fffUL
2088
2089 #define SGEMM_DEFAULT_UNROLL_M 8
2090 #define SGEMM_DEFAULT_UNROLL_N 8
2091 #define DGEMM_DEFAULT_UNROLL_M 8
2092 #define DGEMM_DEFAULT_UNROLL_N 8
2093 #define QGEMM_DEFAULT_UNROLL_M 8
2094 #define QGEMM_DEFAULT_UNROLL_N 8
2095 #define CGEMM_DEFAULT_UNROLL_M 4
2096 #define CGEMM_DEFAULT_UNROLL_N 4
2097 #define ZGEMM_DEFAULT_UNROLL_M 4
2098 #define ZGEMM_DEFAULT_UNROLL_N 4
2099 #define XGEMM_DEFAULT_UNROLL_M 4
2100 #define XGEMM_DEFAULT_UNROLL_N 4
2101
2102 #define SGEMM_DEFAULT_P sgemm_p
2103 #define DGEMM_DEFAULT_P dgemm_p
2104 #define QGEMM_DEFAULT_P qgemm_p
2105 #define CGEMM_DEFAULT_P cgemm_p
2106 #define ZGEMM_DEFAULT_P zgemm_p
2107 #define XGEMM_DEFAULT_P xgemm_p
2108
2109 #define SGEMM_DEFAULT_Q 1024
2110 #define DGEMM_DEFAULT_Q 1024
2111 #define QGEMM_DEFAULT_Q 1024
2112 #define CGEMM_DEFAULT_Q 1024
2113 #define ZGEMM_DEFAULT_Q 1024
2114 #define XGEMM_DEFAULT_Q 1024
2115
2116 #define SGEMM_DEFAULT_R sgemm_r
2117 #define DGEMM_DEFAULT_R dgemm_r
2118 #define QGEMM_DEFAULT_R qgemm_r
2119 #define CGEMM_DEFAULT_R cgemm_r
2120 #define ZGEMM_DEFAULT_R zgemm_r
2121 #define XGEMM_DEFAULT_R xgemm_r
2122
2123 #define SYMV_P   16
2124
2125 #define GETRF_FACTOR 0.65
2126
2127 #endif
2128
2129 #if defined(EV4) || defined(EV5) || defined(EV6)
2130
2131 #ifdef EV4
2132 #define SNUMOPT         1
2133 #define DNUMOPT         1
2134 #else
2135 #define SNUMOPT         2
2136 #define DNUMOPT         2
2137 #endif
2138
2139 #define GEMM_DEFAULT_OFFSET_A 512
2140 #define GEMM_DEFAULT_OFFSET_B 512
2141 #define GEMM_DEFAULT_ALIGN (BLASLONG)0x0ffffUL
2142
2143 #define SGEMM_DEFAULT_UNROLL_M 4
2144 #define SGEMM_DEFAULT_UNROLL_N 4
2145 #define DGEMM_DEFAULT_UNROLL_M 4
2146 #define DGEMM_DEFAULT_UNROLL_N 4
2147 #define CGEMM_DEFAULT_UNROLL_M 2
2148 #define CGEMM_DEFAULT_UNROLL_N 2
2149 #define ZGEMM_DEFAULT_UNROLL_M 2
2150 #define ZGEMM_DEFAULT_UNROLL_N 2
2151
2152 #define SYMV_P   8
2153
2154 #ifdef EV4
2155 #define SGEMM_DEFAULT_P  32
2156 #define SGEMM_DEFAULT_Q 112
2157 #define SGEMM_DEFAULT_R 256
2158
2159 #define DGEMM_DEFAULT_P  32
2160 #define DGEMM_DEFAULT_Q  56
2161 #define DGEMM_DEFAULT_R 256
2162
2163 #define CGEMM_DEFAULT_P  32
2164 #define CGEMM_DEFAULT_Q  64
2165 #define CGEMM_DEFAULT_R 240
2166
2167 #define ZGEMM_DEFAULT_P  32
2168 #define ZGEMM_DEFAULT_Q  32
2169 #define ZGEMM_DEFAULT_R 240
2170 #endif
2171
2172 #ifdef EV5
2173 #define SGEMM_DEFAULT_P  64
2174 #define SGEMM_DEFAULT_Q 256
2175
2176 #define DGEMM_DEFAULT_P  64
2177 #define DGEMM_DEFAULT_Q 128
2178
2179 #define CGEMM_DEFAULT_P  64
2180 #define CGEMM_DEFAULT_Q 128
2181
2182 #define ZGEMM_DEFAULT_P  64
2183 #define ZGEMM_DEFAULT_Q  64
2184 #endif
2185
2186 #ifdef EV6
2187 #define SGEMM_DEFAULT_P 256
2188 #define SGEMM_DEFAULT_Q 512
2189
2190 #define DGEMM_DEFAULT_P 256
2191 #define DGEMM_DEFAULT_Q 256
2192
2193 #define CGEMM_DEFAULT_P 256
2194 #define CGEMM_DEFAULT_Q 256
2195
2196 #define ZGEMM_DEFAULT_P 128
2197 #define ZGEMM_DEFAULT_Q 256
2198 #endif
2199
2200 #endif
2201
2202 #ifdef CELL
2203
2204 #define SNUMOPT         2
2205 #define DNUMOPT         2
2206
2207 #define GEMM_DEFAULT_OFFSET_A 0
2208 #define GEMM_DEFAULT_OFFSET_B 8192
2209 #define GEMM_DEFAULT_ALIGN (BLASLONG)0x0ffffUL
2210
2211 #define SGEMM_DEFAULT_UNROLL_M 16
2212 #define SGEMM_DEFAULT_UNROLL_N 4
2213 #define DGEMM_DEFAULT_UNROLL_M 4
2214 #define DGEMM_DEFAULT_UNROLL_N 4
2215 #define CGEMM_DEFAULT_UNROLL_M 8
2216 #define CGEMM_DEFAULT_UNROLL_N 2
2217 #define ZGEMM_DEFAULT_UNROLL_M 2
2218 #define ZGEMM_DEFAULT_UNROLL_N 2
2219
2220 #define SGEMM_DEFAULT_P 128
2221 #define DGEMM_DEFAULT_P 128
2222 #define CGEMM_DEFAULT_P 128
2223 #define ZGEMM_DEFAULT_P 128
2224
2225 #define SGEMM_DEFAULT_Q  512
2226 #define DGEMM_DEFAULT_Q  256
2227 #define CGEMM_DEFAULT_Q  256
2228 #define ZGEMM_DEFAULT_Q  128
2229
2230 #define SYMV_P   4
2231 #endif
2232
2233 #ifdef PPCG4
2234 #define GEMM_DEFAULT_OFFSET_A    0
2235 #define GEMM_DEFAULT_OFFSET_B 1024
2236 #define GEMM_DEFAULT_ALIGN 0x0ffffUL
2237
2238 #define SGEMM_DEFAULT_UNROLL_M 16
2239 #define SGEMM_DEFAULT_UNROLL_N 4
2240 #define DGEMM_DEFAULT_UNROLL_M 4
2241 #define DGEMM_DEFAULT_UNROLL_N 4
2242 #define CGEMM_DEFAULT_UNROLL_M 2
2243 #define CGEMM_DEFAULT_UNROLL_N 2
2244 #define ZGEMM_DEFAULT_UNROLL_M 2
2245 #define ZGEMM_DEFAULT_UNROLL_N 2
2246
2247 #define SGEMM_DEFAULT_P 256
2248 #define DGEMM_DEFAULT_P 128
2249 #define CGEMM_DEFAULT_P 128
2250 #define ZGEMM_DEFAULT_P  64
2251
2252 #define SGEMM_DEFAULT_Q 256
2253 #define DGEMM_DEFAULT_Q 256
2254 #define CGEMM_DEFAULT_Q 256
2255 #define ZGEMM_DEFAULT_Q 256
2256
2257 #define SYMV_P   4
2258 #endif
2259
2260 #ifdef PPC970
2261
2262 #define SNUMOPT         4
2263 #define DNUMOPT         4
2264
2265 #define GEMM_DEFAULT_OFFSET_A 2688
2266 #define GEMM_DEFAULT_OFFSET_B 3072
2267 #define GEMM_DEFAULT_ALIGN 0x03fffUL
2268
2269 #if defined(__BYTE_ORDER__)&&(__BYTE_ORDER__ == __ORDER_BIG_ENDIAN__)
2270 #define SGEMM_DEFAULT_UNROLL_M 4
2271 #else
2272 #define SGEMM_DEFAULT_UNROLL_M 16
2273 #endif
2274 #define SGEMM_DEFAULT_UNROLL_N 4
2275 #define DGEMM_DEFAULT_UNROLL_M 4
2276 #define DGEMM_DEFAULT_UNROLL_N 4
2277 #if defined(__BYTE_ORDER__)&&(__BYTE_ORDER__ == __ORDER_BIG_ENDIAN__)
2278 #define CGEMM_DEFAULT_UNROLL_M 2
2279 #else
2280 #define CGEMM_DEFAULT_UNROLL_M 8
2281 #endif
2282 #define CGEMM_DEFAULT_UNROLL_N 2
2283 #define ZGEMM_DEFAULT_UNROLL_M 2
2284 #define ZGEMM_DEFAULT_UNROLL_N 2
2285
2286 #if defined(OS_LINUX) || defined(OS_DARWIN) || defined(OS_FREEBSD)
2287 #if L2_SIZE == 1024976
2288 #define SGEMM_DEFAULT_P 320
2289 #define DGEMM_DEFAULT_P 256
2290 #define CGEMM_DEFAULT_P 256
2291 #define ZGEMM_DEFAULT_P 256
2292 #else
2293 #define SGEMM_DEFAULT_P 176
2294 #define DGEMM_DEFAULT_P 176
2295 #define CGEMM_DEFAULT_P 176
2296 #define ZGEMM_DEFAULT_P 176
2297 #endif
2298 #endif
2299
2300 #define SGEMM_DEFAULT_Q 512
2301 #define DGEMM_DEFAULT_Q 256
2302 #define CGEMM_DEFAULT_Q 256
2303 #define ZGEMM_DEFAULT_Q 128
2304
2305 #define SYMV_P   4
2306
2307 #endif
2308
2309 #ifdef PPC440
2310
2311 #define SNUMOPT         2
2312 #define DNUMOPT         2
2313
2314 #define GEMM_DEFAULT_OFFSET_A (32 * 0)
2315 #define GEMM_DEFAULT_OFFSET_B (32 * 0)
2316 #define GEMM_DEFAULT_ALIGN 0x0ffffUL
2317
2318 #define SGEMM_DEFAULT_UNROLL_M 4
2319 #define SGEMM_DEFAULT_UNROLL_N 4
2320 #define DGEMM_DEFAULT_UNROLL_M 4
2321 #define DGEMM_DEFAULT_UNROLL_N 4
2322 #define CGEMM_DEFAULT_UNROLL_M 2
2323 #define CGEMM_DEFAULT_UNROLL_N 2
2324 #define ZGEMM_DEFAULT_UNROLL_M 2
2325 #define ZGEMM_DEFAULT_UNROLL_N 2
2326
2327 #define SGEMM_DEFAULT_P 512
2328 #define DGEMM_DEFAULT_P 512
2329 #define CGEMM_DEFAULT_P 512
2330 #define ZGEMM_DEFAULT_P 512
2331
2332 #define SGEMM_DEFAULT_Q 1024
2333 #define DGEMM_DEFAULT_Q  512
2334 #define CGEMM_DEFAULT_Q  512
2335 #define ZGEMM_DEFAULT_Q  256
2336
2337 #define SGEMM_DEFAULT_R SGEMM_DEFAULT_P
2338 #define DGEMM_DEFAULT_R DGEMM_DEFAULT_P
2339 #define CGEMM_DEFAULT_R CGEMM_DEFAULT_P
2340 #define ZGEMM_DEFAULT_R ZGEMM_DEFAULT_P
2341
2342 #define SYMV_P   4
2343 #endif
2344
2345 #ifdef PPC440FP2
2346
2347 #define SNUMOPT         4
2348 #define DNUMOPT         4
2349
2350 #define GEMM_DEFAULT_OFFSET_A (32 * 0)
2351 #define GEMM_DEFAULT_OFFSET_B (32 * 0)
2352 #define GEMM_DEFAULT_ALIGN 0x0ffffUL
2353
2354 #define SGEMM_DEFAULT_UNROLL_M 8
2355 #define SGEMM_DEFAULT_UNROLL_N 4
2356 #define DGEMM_DEFAULT_UNROLL_M 8
2357 #define DGEMM_DEFAULT_UNROLL_N 4
2358 #define CGEMM_DEFAULT_UNROLL_M 4
2359 #define CGEMM_DEFAULT_UNROLL_N 2
2360 #define ZGEMM_DEFAULT_UNROLL_M 4
2361 #define ZGEMM_DEFAULT_UNROLL_N 2
2362
2363 #define SGEMM_DEFAULT_P 128
2364 #define DGEMM_DEFAULT_P 128
2365 #define CGEMM_DEFAULT_P 128
2366 #define ZGEMM_DEFAULT_P 128
2367 #if 1
2368 #define SGEMM_DEFAULT_Q 4096
2369 #define DGEMM_DEFAULT_Q 3072
2370 #define CGEMM_DEFAULT_Q 2048
2371 #define ZGEMM_DEFAULT_Q 1024
2372 #else
2373 #define SGEMM_DEFAULT_Q  512
2374 #define DGEMM_DEFAULT_Q  256
2375 #define CGEMM_DEFAULT_Q  256
2376 #define ZGEMM_DEFAULT_Q  128
2377 #endif
2378
2379 #define SYMV_P   4
2380 #endif
2381
2382
2383
2384 #if defined(POWER3) || defined(POWER4) || defined(POWER5)
2385 #define GEMM_DEFAULT_OFFSET_A 0
2386 #define GEMM_DEFAULT_OFFSET_B 2048
2387 #define GEMM_DEFAULT_ALIGN 0x0ffffUL
2388
2389 #define SGEMM_DEFAULT_UNROLL_M 4
2390 #define SGEMM_DEFAULT_UNROLL_N 4
2391 #define DGEMM_DEFAULT_UNROLL_M 4
2392 #define DGEMM_DEFAULT_UNROLL_N 4
2393 #define CGEMM_DEFAULT_UNROLL_M 2
2394 #define CGEMM_DEFAULT_UNROLL_N 2
2395 #define ZGEMM_DEFAULT_UNROLL_M 2
2396 #define ZGEMM_DEFAULT_UNROLL_N 2
2397
2398 #ifdef POWER3
2399
2400 #define SNUMOPT         4
2401 #define DNUMOPT         4
2402
2403 #define SGEMM_DEFAULT_P 256
2404 #define SGEMM_DEFAULT_Q 432
2405 #define SGEMM_DEFAULT_R 1012
2406
2407 #define DGEMM_DEFAULT_P 256
2408 #define DGEMM_DEFAULT_Q 216
2409 #define DGEMM_DEFAULT_R 1012
2410
2411 #define CGEMM_DEFAULT_P 256
2412 #define CGEMM_DEFAULT_Q 104
2413 #define CGEMM_DEFAULT_R 1012
2414
2415 #define ZGEMM_DEFAULT_P 256
2416 #define ZGEMM_DEFAULT_Q 104
2417 #define ZGEMM_DEFAULT_R 1012
2418 #endif
2419
2420 #if defined(POWER4)
2421 #ifdef ALLOC_HUGETLB
2422 #define SGEMM_DEFAULT_P 184
2423 #define DGEMM_DEFAULT_P 184
2424 #define CGEMM_DEFAULT_P 184
2425 #define ZGEMM_DEFAULT_P 184
2426 #else
2427 #define SGEMM_DEFAULT_P 144
2428 #define DGEMM_DEFAULT_P 144
2429 #define CGEMM_DEFAULT_P 144
2430 #define ZGEMM_DEFAULT_P 144
2431 #endif
2432
2433 #define SGEMM_DEFAULT_Q 256
2434 #define CGEMM_DEFAULT_Q 256
2435 #define DGEMM_DEFAULT_Q 256
2436 #define ZGEMM_DEFAULT_Q 256
2437 #endif
2438
2439 #if defined(POWER5)
2440 #ifdef ALLOC_HUGETLB
2441 #define SGEMM_DEFAULT_P 512
2442 #define DGEMM_DEFAULT_P 256
2443 #define CGEMM_DEFAULT_P 256
2444 #define ZGEMM_DEFAULT_P 128
2445 #else
2446 #define SGEMM_DEFAULT_P 320
2447 #define DGEMM_DEFAULT_P 160
2448 #define CGEMM_DEFAULT_P 160
2449 #define ZGEMM_DEFAULT_P  80
2450 #endif
2451
2452 #define SGEMM_DEFAULT_Q 256
2453 #define CGEMM_DEFAULT_Q 256
2454 #define DGEMM_DEFAULT_Q 256
2455 #define ZGEMM_DEFAULT_Q 256
2456 #endif
2457
2458 #define SYMV_P   8
2459
2460 #endif
2461
2462 #if defined(POWER6)
2463
2464 #define SNUMOPT         4
2465 #define DNUMOPT         4
2466
2467 #define GEMM_DEFAULT_OFFSET_A  384
2468 #define GEMM_DEFAULT_OFFSET_B 1024
2469 #define GEMM_DEFAULT_ALIGN 0x03fffUL
2470
2471 #define SGEMM_DEFAULT_UNROLL_M 4
2472 #define SGEMM_DEFAULT_UNROLL_N 4
2473 #define DGEMM_DEFAULT_UNROLL_M 4
2474 #define DGEMM_DEFAULT_UNROLL_N 4
2475 #define CGEMM_DEFAULT_UNROLL_M 2
2476 #define CGEMM_DEFAULT_UNROLL_N 4
2477 #define ZGEMM_DEFAULT_UNROLL_M 2
2478 #define ZGEMM_DEFAULT_UNROLL_N 4
2479
2480 #define SGEMM_DEFAULT_P  992
2481 #define DGEMM_DEFAULT_P  480
2482 #define CGEMM_DEFAULT_P  488
2483 #define ZGEMM_DEFAULT_P  248
2484
2485 #define SGEMM_DEFAULT_Q  504
2486 #define DGEMM_DEFAULT_Q  504
2487 #define CGEMM_DEFAULT_Q  400
2488 #define ZGEMM_DEFAULT_Q  400
2489
2490 #define SYMV_P   8
2491
2492 #endif
2493
2494 #if defined(POWER8)
2495
2496 #define SNUMOPT         16
2497 #define DNUMOPT         8
2498
2499 #define GEMM_DEFAULT_OFFSET_A 0
2500 #define GEMM_DEFAULT_OFFSET_B 65536
2501
2502 #define GEMM_DEFAULT_ALIGN 0x0ffffUL
2503 #if defined(__32BIT__)
2504 #warning using BINARY32==POWER6
2505 #define SGEMM_DEFAULT_UNROLL_M 4
2506 #define SGEMM_DEFAULT_UNROLL_N 4
2507 #define DGEMM_DEFAULT_UNROLL_M 4
2508 #define DGEMM_DEFAULT_UNROLL_N 4
2509 #define CGEMM_DEFAULT_UNROLL_M 2
2510 #define CGEMM_DEFAULT_UNROLL_N 4
2511 #define ZGEMM_DEFAULT_UNROLL_M 2
2512 #define ZGEMM_DEFAULT_UNROLL_N 4
2513 #else
2514 #define SGEMM_DEFAULT_UNROLL_M 16
2515 #define SGEMM_DEFAULT_UNROLL_N 8
2516 #define DGEMM_DEFAULT_UNROLL_M 16
2517 #define DGEMM_DEFAULT_UNROLL_N 4
2518 #define CGEMM_DEFAULT_UNROLL_M 8
2519 #define CGEMM_DEFAULT_UNROLL_N 4
2520 #define ZGEMM_DEFAULT_UNROLL_M 8
2521 #define ZGEMM_DEFAULT_UNROLL_N 2
2522 #endif
2523 #define SGEMM_DEFAULT_P  1280UL
2524 #define DGEMM_DEFAULT_P  640UL
2525 #define CGEMM_DEFAULT_P  640UL
2526 #define ZGEMM_DEFAULT_P  320UL
2527
2528 #define SGEMM_DEFAULT_Q  640UL
2529 #define DGEMM_DEFAULT_Q  720UL
2530 #define CGEMM_DEFAULT_Q  640UL
2531 #define ZGEMM_DEFAULT_Q  640UL
2532
2533 #if 0
2534 #define SGEMM_DEFAULT_R SGEMM_DEFAULT_P
2535 #define DGEMM_DEFAULT_R DGEMM_DEFAULT_P
2536 #define CGEMM_DEFAULT_R CGEMM_DEFAULT_P
2537 #define ZGEMM_DEFAULT_R ZGEMM_DEFAULT_P
2538 #endif
2539 #define SGEMM_DEFAULT_R 4096
2540 #define DGEMM_DEFAULT_R 4096
2541 #define CGEMM_DEFAULT_R 4096
2542 #define ZGEMM_DEFAULT_R 4096
2543
2544 #define SYMV_P   8
2545
2546 #endif
2547
2548 #if defined(POWER9)
2549
2550 #define SNUMOPT         16
2551 #define DNUMOPT         8
2552
2553 #define GEMM_DEFAULT_OFFSET_A 0
2554 #define GEMM_DEFAULT_OFFSET_B 65536
2555 #define GEMM_DEFAULT_ALIGN 0x0ffffUL
2556
2557 #define SWITCH_RATIO            16
2558 #define GEMM_PREFERED_SIZE      16
2559
2560 #define SGEMM_DEFAULT_UNROLL_M 16
2561 #define SGEMM_DEFAULT_UNROLL_N 8
2562 #define DGEMM_DEFAULT_UNROLL_M 16
2563 #define DGEMM_DEFAULT_UNROLL_N 4
2564 #define CGEMM_DEFAULT_UNROLL_M 8
2565 #define CGEMM_DEFAULT_UNROLL_N 4
2566 #define ZGEMM_DEFAULT_UNROLL_M 8
2567 #define ZGEMM_DEFAULT_UNROLL_N 2
2568
2569 #define SGEMM_DEFAULT_P 832
2570 #define DGEMM_DEFAULT_P  128
2571 #define CGEMM_DEFAULT_P  512
2572 #define ZGEMM_DEFAULT_P 256
2573
2574 #define SGEMM_DEFAULT_Q 1026
2575 #define DGEMM_DEFAULT_Q  384
2576 #define CGEMM_DEFAULT_Q  1026
2577 #define ZGEMM_DEFAULT_Q 1026
2578
2579 #define SGEMM_DEFAULT_R 4096
2580 #define DGEMM_DEFAULT_R 4096
2581 #define CGEMM_DEFAULT_R 4096
2582 #define ZGEMM_DEFAULT_R 4096
2583
2584 #define SYMV_P   8
2585
2586 #endif
2587
2588 #if defined(POWER10)
2589 #define SNUMOPT         16
2590 #define DNUMOPT         8
2591
2592 #define GEMM_DEFAULT_OFFSET_A 0
2593 #define GEMM_DEFAULT_OFFSET_B 65536
2594 #define GEMM_DEFAULT_ALIGN 0x0ffffUL
2595
2596 #define SWITCH_RATIO            16
2597 #define GEMM_PREFERED_SIZE      16
2598
2599 #define SGEMM_DEFAULT_UNROLL_M 16
2600 #define SGEMM_DEFAULT_UNROLL_N 8
2601 #define DGEMM_DEFAULT_UNROLL_M 8
2602 #define DGEMM_DEFAULT_UNROLL_N 8
2603 #define CGEMM_DEFAULT_UNROLL_M 8
2604 #define CGEMM_DEFAULT_UNROLL_N 4
2605 #define ZGEMM_DEFAULT_UNROLL_M 8
2606 #define ZGEMM_DEFAULT_UNROLL_N 2
2607
2608 #define SGEMM_DEFAULT_P 512
2609 #define DGEMM_DEFAULT_P 384
2610 #define CGEMM_DEFAULT_P 512
2611 #define ZGEMM_DEFAULT_P 256
2612
2613 #define SGEMM_DEFAULT_Q 512
2614 #define DGEMM_DEFAULT_Q 512
2615 #define CGEMM_DEFAULT_Q 384
2616 #define ZGEMM_DEFAULT_Q 384
2617
2618 #define SGEMM_DEFAULT_R 4096
2619 #define DGEMM_DEFAULT_R 4096
2620 #define CGEMM_DEFAULT_R 4096
2621 #define ZGEMM_DEFAULT_R 4096
2622
2623 #define SYMV_P   8
2624
2625 #undef SBGEMM_DEFAULT_UNROLL_N
2626 #undef SBGEMM_DEFAULT_UNROLL_M
2627 #undef SBGEMM_DEFAULT_P
2628 #undef SBGEMM_DEFAULT_R
2629 #undef SBGEMM_DEFAULT_Q
2630 #define SBGEMM_DEFAULT_UNROLL_M 16
2631 #define SBGEMM_DEFAULT_UNROLL_N 8
2632 #define SBGEMM_DEFAULT_P 832
2633 #define SBGEMM_DEFAULT_Q 1026
2634 #define SBGEMM_DEFAULT_R 4096
2635 #endif
2636
2637 #if defined(SPARC) && defined(V7)
2638
2639 #define SNUMOPT         4
2640 #define DNUMOPT         4
2641
2642 #define GEMM_DEFAULT_OFFSET_A 0
2643 #define GEMM_DEFAULT_OFFSET_B 2048
2644 #define GEMM_DEFAULT_ALIGN 0x03fffUL
2645
2646 #define SGEMM_DEFAULT_UNROLL_M 2
2647 #define SGEMM_DEFAULT_UNROLL_N 8
2648 #define DGEMM_DEFAULT_UNROLL_M 2
2649 #define DGEMM_DEFAULT_UNROLL_N 8
2650 #define CGEMM_DEFAULT_UNROLL_M 1
2651 #define CGEMM_DEFAULT_UNROLL_N 4
2652 #define ZGEMM_DEFAULT_UNROLL_M 1
2653 #define ZGEMM_DEFAULT_UNROLL_N 4
2654
2655 #define SGEMM_DEFAULT_P  256
2656 #define DGEMM_DEFAULT_P  256
2657 #define CGEMM_DEFAULT_P  256
2658 #define ZGEMM_DEFAULT_P  256
2659
2660 #define SGEMM_DEFAULT_Q  512
2661 #define DGEMM_DEFAULT_Q  256
2662 #define CGEMM_DEFAULT_Q  256
2663 #define ZGEMM_DEFAULT_Q  128
2664
2665 #define SYMV_P   8
2666 #define GEMM_THREAD gemm_thread_mn
2667 #endif
2668
2669 #if (defined(SPARC) && defined(V9)) || defined(__sparc_v9__)
2670
2671 #define SNUMOPT         2
2672 #define DNUMOPT         2
2673
2674 #define GEMM_DEFAULT_OFFSET_A 0
2675 #define GEMM_DEFAULT_OFFSET_B 2048
2676 #define GEMM_DEFAULT_ALIGN 0x03fffUL
2677
2678 #define SGEMM_DEFAULT_UNROLL_M 4
2679 #define SGEMM_DEFAULT_UNROLL_N 4
2680 #define DGEMM_DEFAULT_UNROLL_M 4
2681 #define DGEMM_DEFAULT_UNROLL_N 4
2682 #define CGEMM_DEFAULT_UNROLL_M 2
2683 #define CGEMM_DEFAULT_UNROLL_N 2
2684 #define ZGEMM_DEFAULT_UNROLL_M 2
2685 #define ZGEMM_DEFAULT_UNROLL_N 2
2686
2687 #define SGEMM_DEFAULT_P  512
2688 #define DGEMM_DEFAULT_P  512
2689 #define CGEMM_DEFAULT_P  512
2690 #define ZGEMM_DEFAULT_P  512
2691
2692 #define SGEMM_DEFAULT_Q 1024
2693 #define DGEMM_DEFAULT_Q  512
2694 #define CGEMM_DEFAULT_Q  512
2695 #define ZGEMM_DEFAULT_Q  256
2696
2697 #define SYMV_P   8
2698 #endif
2699
2700 #ifdef SICORTEX
2701
2702 #define SNUMOPT         2
2703 #define DNUMOPT         2
2704
2705 #define GEMM_DEFAULT_OFFSET_A 0
2706 #define GEMM_DEFAULT_OFFSET_B 0
2707 #define GEMM_DEFAULT_ALIGN (BLASLONG)0x03fffUL
2708
2709 #define SGEMM_DEFAULT_UNROLL_M  2
2710 #define SGEMM_DEFAULT_UNROLL_N  8
2711 #define DGEMM_DEFAULT_UNROLL_M  2
2712 #define DGEMM_DEFAULT_UNROLL_N  8
2713 #define CGEMM_DEFAULT_UNROLL_M  1
2714 #define CGEMM_DEFAULT_UNROLL_N  4
2715 #define ZGEMM_DEFAULT_UNROLL_M  1
2716 #define ZGEMM_DEFAULT_UNROLL_N  4
2717
2718 #define SGEMM_DEFAULT_P 108
2719 #define DGEMM_DEFAULT_P 112
2720 #define CGEMM_DEFAULT_P 108
2721 #define ZGEMM_DEFAULT_P 112
2722
2723 #define SGEMM_DEFAULT_Q 288
2724 #define DGEMM_DEFAULT_Q 144
2725 #define CGEMM_DEFAULT_Q 144
2726 #define ZGEMM_DEFAULT_Q  72
2727
2728 #define SGEMM_DEFAULT_R 2000
2729 #define DGEMM_DEFAULT_R 2000
2730 #define CGEMM_DEFAULT_R 2000
2731 #define ZGEMM_DEFAULT_R 2000
2732
2733 #define SYMV_P  16
2734 #endif
2735
2736 #if defined(LOONGSON3R4)
2737 #define SNUMOPT         2
2738 #define DNUMOPT         2
2739
2740 #define GEMM_DEFAULT_OFFSET_A 0
2741 #define GEMM_DEFAULT_OFFSET_B 0
2742 #define GEMM_DEFAULT_ALIGN (BLASLONG)0x03fffUL
2743
2744 #ifdef HAVE_MSA
2745 #define SGEMM_DEFAULT_UNROLL_M  8
2746 #define SGEMM_DEFAULT_UNROLL_N  8
2747
2748 #define DGEMM_DEFAULT_UNROLL_M  8
2749 #define DGEMM_DEFAULT_UNROLL_N  4
2750
2751 #define CGEMM_DEFAULT_UNROLL_M  8
2752 #define CGEMM_DEFAULT_UNROLL_N  4
2753
2754 #define ZGEMM_DEFAULT_UNROLL_M  4
2755 #define ZGEMM_DEFAULT_UNROLL_N  4
2756 #else
2757 #define SGEMM_DEFAULT_UNROLL_M  8
2758 #define SGEMM_DEFAULT_UNROLL_N  4
2759
2760 #define DGEMM_DEFAULT_UNROLL_M  4
2761 #define DGEMM_DEFAULT_UNROLL_N  4
2762
2763 #define CGEMM_DEFAULT_UNROLL_M  4
2764 #define CGEMM_DEFAULT_UNROLL_N  2
2765
2766 #define ZGEMM_DEFAULT_UNROLL_M  2
2767 #define ZGEMM_DEFAULT_UNROLL_N  2
2768 #endif
2769
2770 #define SGEMM_DEFAULT_P 64
2771 #define DGEMM_DEFAULT_P 44
2772 #define CGEMM_DEFAULT_P 64
2773 #define ZGEMM_DEFAULT_P 32
2774
2775 #define SGEMM_DEFAULT_Q 192
2776 #define DGEMM_DEFAULT_Q 92
2777 #define CGEMM_DEFAULT_Q 128
2778 #define ZGEMM_DEFAULT_Q 80
2779
2780 #define SGEMM_DEFAULT_R 640
2781 #define DGEMM_DEFAULT_R dgemm_r
2782 #define CGEMM_DEFAULT_R 640
2783 #define ZGEMM_DEFAULT_R 640
2784
2785 #define GEMM_OFFSET_A1  0x10000
2786 #define GEMM_OFFSET_B1  0x100000
2787
2788 #define SYMV_P  16
2789 #endif
2790
2791 #if defined(LOONGSON3R3)
2792 ////Copy from SICORTEX
2793 #define SNUMOPT         2
2794 #define DNUMOPT         2
2795
2796 #define GEMM_DEFAULT_OFFSET_A 0
2797 #define GEMM_DEFAULT_OFFSET_B 0
2798 #define GEMM_DEFAULT_ALIGN (BLASLONG)0x03fffUL
2799
2800 #define SGEMM_DEFAULT_UNROLL_M  8
2801 #define SGEMM_DEFAULT_UNROLL_N  4
2802
2803 #define DGEMM_DEFAULT_UNROLL_M  4
2804 #define DGEMM_DEFAULT_UNROLL_N  4
2805
2806 #define CGEMM_DEFAULT_UNROLL_M  4
2807 #define CGEMM_DEFAULT_UNROLL_N  2
2808
2809 #define ZGEMM_DEFAULT_UNROLL_M  2
2810 #define ZGEMM_DEFAULT_UNROLL_N  2
2811
2812 #define SGEMM_DEFAULT_P 64
2813 #define DGEMM_DEFAULT_P 44
2814 #define CGEMM_DEFAULT_P 64
2815 #define ZGEMM_DEFAULT_P 32
2816
2817 #define SGEMM_DEFAULT_Q 192
2818 #define DGEMM_DEFAULT_Q 92
2819 #define CGEMM_DEFAULT_Q 128
2820 #define ZGEMM_DEFAULT_Q 80
2821
2822 #define SGEMM_DEFAULT_R 640
2823 #define DGEMM_DEFAULT_R dgemm_r
2824 #define CGEMM_DEFAULT_R 640
2825 #define ZGEMM_DEFAULT_R 640
2826
2827 #define GEMM_OFFSET_A1  0x10000
2828 #define GEMM_OFFSET_B1  0x100000
2829
2830 #define SYMV_P  16
2831 #endif
2832
2833 #if defined (LOONGSON3R5)
2834 #define SNUMOPT         2
2835 #define DNUMOPT         2
2836
2837 #define GEMM_DEFAULT_OFFSET_A 0
2838 #define GEMM_DEFAULT_OFFSET_B 0
2839 #define GEMM_DEFAULT_ALIGN 0x0ffffUL
2840
2841 #define SGEMM_DEFAULT_UNROLL_N 8
2842 #define DGEMM_DEFAULT_UNROLL_N 8
2843 #define QGEMM_DEFAULT_UNROLL_N 2
2844 #define CGEMM_DEFAULT_UNROLL_N 4
2845 #define ZGEMM_DEFAULT_UNROLL_N 4
2846 #define XGEMM_DEFAULT_UNROLL_N 1
2847
2848 #define SGEMM_DEFAULT_UNROLL_M 2
2849 #define DGEMM_DEFAULT_UNROLL_M 2
2850 #define QGEMM_DEFAULT_UNROLL_M 2
2851 #define CGEMM_DEFAULT_UNROLL_M 1
2852 #define ZGEMM_DEFAULT_UNROLL_M 1
2853 #define XGEMM_DEFAULT_UNROLL_M 1
2854
2855 #define SGEMM_DEFAULT_P sgemm_p
2856 #define DGEMM_DEFAULT_P dgemm_p
2857 #define QGEMM_DEFAULT_P qgemm_p
2858 #define CGEMM_DEFAULT_P cgemm_p
2859 #define ZGEMM_DEFAULT_P zgemm_p
2860 #define XGEMM_DEFAULT_P xgemm_p
2861
2862 #define SGEMM_DEFAULT_R sgemm_r
2863 #define DGEMM_DEFAULT_R dgemm_r
2864 #define QGEMM_DEFAULT_R qgemm_r
2865 #define CGEMM_DEFAULT_R cgemm_r
2866 #define ZGEMM_DEFAULT_R zgemm_r
2867 #define XGEMM_DEFAULT_R xgemm_r
2868
2869 #define SGEMM_DEFAULT_Q 128
2870 #define DGEMM_DEFAULT_Q 128
2871 #define QGEMM_DEFAULT_Q 128
2872 #define CGEMM_DEFAULT_Q 128
2873 #define ZGEMM_DEFAULT_Q 128
2874 #define XGEMM_DEFAULT_Q 128
2875
2876 #define SYMV_P  16
2877 #endif
2878
2879 #if defined(P5600) || defined(MIPS1004K) || defined(MIPS24K) || defined(I6400) || defined(P6600) || defined(I6500)
2880 #define SNUMOPT  2
2881 #define DNUMOPT  2
2882
2883 #define GEMM_DEFAULT_OFFSET_A  0
2884 #define GEMM_DEFAULT_OFFSET_B  0
2885 #define GEMM_DEFAULT_ALIGN (BLASLONG) 0x03fffUL
2886
2887 #if defined(HAVE_MSA) && !defined(NO_MSA)
2888 #define SGEMM_DEFAULT_UNROLL_M  8
2889 #define SGEMM_DEFAULT_UNROLL_N  8
2890
2891 #define DGEMM_DEFAULT_UNROLL_M  8
2892 #define DGEMM_DEFAULT_UNROLL_N  4
2893
2894 #define CGEMM_DEFAULT_UNROLL_M  8
2895 #define CGEMM_DEFAULT_UNROLL_N  4
2896
2897 #define ZGEMM_DEFAULT_UNROLL_M  4
2898 #define ZGEMM_DEFAULT_UNROLL_N  4
2899 #else
2900 #define SGEMM_DEFAULT_UNROLL_M  2
2901 #define SGEMM_DEFAULT_UNROLL_N  2
2902
2903 #define DGEMM_DEFAULT_UNROLL_M  2
2904 #define DGEMM_DEFAULT_UNROLL_N  2
2905
2906 #define CGEMM_DEFAULT_UNROLL_M  2
2907 #define CGEMM_DEFAULT_UNROLL_N  2
2908
2909 #define ZGEMM_DEFAULT_UNROLL_M  2
2910 #define ZGEMM_DEFAULT_UNROLL_N  2
2911 #endif
2912
2913 #define SGEMM_DEFAULT_P  128
2914 #define DGEMM_DEFAULT_P  128
2915 #define CGEMM_DEFAULT_P  96
2916 #define ZGEMM_DEFAULT_P  64
2917
2918 #define SGEMM_DEFAULT_Q  240
2919 #define DGEMM_DEFAULT_Q  120
2920 #define CGEMM_DEFAULT_Q  120
2921 #define ZGEMM_DEFAULT_Q  120
2922
2923 #define SGEMM_DEFAULT_R  12288
2924 #define DGEMM_DEFAULT_R  8192
2925 #define CGEMM_DEFAULT_R  4096
2926 #define ZGEMM_DEFAULT_R  4096
2927
2928 #define SYMV_P  16
2929 #endif
2930
2931 #ifdef RISCV64_GENERIC
2932 #define GEMM_DEFAULT_OFFSET_A 0
2933 #define GEMM_DEFAULT_OFFSET_B 0
2934 #define GEMM_DEFAULT_ALIGN (BLASLONG)0x03fffUL
2935
2936 #define SGEMM_DEFAULT_UNROLL_M  2
2937 #define SGEMM_DEFAULT_UNROLL_N  2
2938
2939 #define DGEMM_DEFAULT_UNROLL_M  2
2940 #define DGEMM_DEFAULT_UNROLL_N  2
2941
2942 #define CGEMM_DEFAULT_UNROLL_M  2
2943 #define CGEMM_DEFAULT_UNROLL_N  2
2944
2945 #define ZGEMM_DEFAULT_UNROLL_M  2
2946 #define ZGEMM_DEFAULT_UNROLL_N  2
2947
2948 #define SGEMM_DEFAULT_P 128
2949 #define DGEMM_DEFAULT_P 128
2950 #define CGEMM_DEFAULT_P 96
2951 #define ZGEMM_DEFAULT_P 64
2952
2953 #define SGEMM_DEFAULT_Q 240
2954 #define DGEMM_DEFAULT_Q 120
2955 #define CGEMM_DEFAULT_Q 120
2956 #define ZGEMM_DEFAULT_Q 120
2957
2958 #define SGEMM_DEFAULT_R 12288
2959 #define DGEMM_DEFAULT_R 8192
2960 #define CGEMM_DEFAULT_R 4096
2961 #define ZGEMM_DEFAULT_R 4096
2962
2963 #define SYMV_P  16
2964
2965 #define GEMM_DEFAULT_OFFSET_A 0
2966 #define GEMM_DEFAULT_OFFSET_B 0
2967
2968 #endif
2969
2970 #ifdef C910V
2971 #define GEMM_DEFAULT_OFFSET_A 0
2972 #define GEMM_DEFAULT_OFFSET_B 0
2973 #define GEMM_DEFAULT_ALIGN 0x03fffUL
2974
2975 #define SGEMM_DEFAULT_UNROLL_M  16
2976 #define SGEMM_DEFAULT_UNROLL_N  4
2977
2978 #define DGEMM_DEFAULT_UNROLL_M  8
2979 #define DGEMM_DEFAULT_UNROLL_N  4
2980
2981 #define CGEMM_DEFAULT_UNROLL_M  2
2982 #define CGEMM_DEFAULT_UNROLL_N  2
2983
2984 #define ZGEMM_DEFAULT_UNROLL_M  2
2985 #define ZGEMM_DEFAULT_UNROLL_N  2
2986
2987 #define SGEMM_DEFAULT_P 160
2988 #define DGEMM_DEFAULT_P 160
2989 #define CGEMM_DEFAULT_P 96
2990 #define ZGEMM_DEFAULT_P 64
2991
2992 #define SGEMM_DEFAULT_Q 240
2993 #define DGEMM_DEFAULT_Q 128
2994 #define CGEMM_DEFAULT_Q 120
2995 #define ZGEMM_DEFAULT_Q 120
2996
2997 #define SGEMM_DEFAULT_R 12288
2998 #define DGEMM_DEFAULT_R 8192
2999 #define CGEMM_DEFAULT_R 4096
3000 #define ZGEMM_DEFAULT_R 4096
3001
3002 #define SYMV_P  16
3003
3004 #define GEMM_DEFAULT_OFFSET_A 0
3005 #define GEMM_DEFAULT_OFFSET_B 0
3006
3007 #endif
3008
3009 #ifdef ARMV7
3010 #define SNUMOPT         2
3011 #define DNUMOPT         2
3012
3013 #define GEMM_DEFAULT_OFFSET_A 0
3014 #define GEMM_DEFAULT_OFFSET_B 0
3015 #define GEMM_DEFAULT_ALIGN (BLASLONG)0x03fffUL
3016
3017 #define SGEMM_DEFAULT_UNROLL_M  4
3018 #define SGEMM_DEFAULT_UNROLL_N  4
3019
3020 #define DGEMM_DEFAULT_UNROLL_M  4
3021 #define DGEMM_DEFAULT_UNROLL_N  4
3022
3023 #define CGEMM_DEFAULT_UNROLL_M  2
3024 #define CGEMM_DEFAULT_UNROLL_N  2
3025
3026 #define ZGEMM_DEFAULT_UNROLL_M  2
3027 #define ZGEMM_DEFAULT_UNROLL_N  2
3028
3029 #define SGEMM_DEFAULT_P 128
3030 #define DGEMM_DEFAULT_P 128
3031 #define CGEMM_DEFAULT_P 96
3032 #define ZGEMM_DEFAULT_P 64
3033
3034 #define SGEMM_DEFAULT_Q 240
3035 #define DGEMM_DEFAULT_Q 120
3036 #define CGEMM_DEFAULT_Q 120
3037 #define ZGEMM_DEFAULT_Q 120
3038
3039 #define SGEMM_DEFAULT_R 12288
3040 #define DGEMM_DEFAULT_R 8192
3041 #define CGEMM_DEFAULT_R 4096
3042 #define ZGEMM_DEFAULT_R 4096
3043
3044
3045
3046 #define SYMV_P  16
3047 #endif
3048
3049
3050 #if defined(ARMV6)
3051 #define SNUMOPT         2
3052 #define DNUMOPT         2
3053
3054 #define GEMM_DEFAULT_OFFSET_A 0
3055 #define GEMM_DEFAULT_OFFSET_B 0
3056 #define GEMM_DEFAULT_ALIGN (BLASLONG)0x03fffUL
3057
3058 #define SGEMM_DEFAULT_UNROLL_M  4
3059 #define SGEMM_DEFAULT_UNROLL_N  2
3060
3061 #define DGEMM_DEFAULT_UNROLL_M  4
3062 #define DGEMM_DEFAULT_UNROLL_N  2
3063
3064 #define CGEMM_DEFAULT_UNROLL_M  2
3065 #define CGEMM_DEFAULT_UNROLL_N  2
3066
3067 #define ZGEMM_DEFAULT_UNROLL_M  2
3068 #define ZGEMM_DEFAULT_UNROLL_N  2
3069
3070 #define SGEMM_DEFAULT_P 128
3071 #define DGEMM_DEFAULT_P 128
3072 #define CGEMM_DEFAULT_P 96
3073 #define ZGEMM_DEFAULT_P 64
3074
3075 #define SGEMM_DEFAULT_Q 240
3076 #define DGEMM_DEFAULT_Q 120
3077 #define CGEMM_DEFAULT_Q 120
3078 #define ZGEMM_DEFAULT_Q 120
3079
3080 #define SGEMM_DEFAULT_R 12288
3081 #define DGEMM_DEFAULT_R 8192
3082 #define CGEMM_DEFAULT_R 4096
3083 #define ZGEMM_DEFAULT_R 4096
3084
3085
3086 #define SYMV_P  16
3087 #endif
3088
3089 /* Common ARMv8 parameters */
3090 #if defined(ARMV8)
3091
3092 #define SNUMOPT         2
3093 #define DNUMOPT         2
3094
3095 #define GEMM_DEFAULT_OFFSET_A 0
3096 #define GEMM_DEFAULT_OFFSET_B 0
3097 #ifdef _WIN64
3098 /* Use explicit casting for win64 as LLP64 datamodel is used */
3099 #define GEMM_DEFAULT_ALIGN (BLASULONG)0x03fffUL
3100 #else
3101 #define GEMM_DEFAULT_ALIGN 0x03fffUL
3102 #endif
3103
3104 #define SYMV_P  16
3105
3106 #if defined(CORTEXA57) || \
3107     defined(CORTEXA72) || defined(CORTEXA73) || \
3108     defined(FALKOR)    || defined(TSV110) || defined(EMAG8180) || defined(VORTEX)
3109
3110 #define SGEMM_DEFAULT_UNROLL_M  16
3111 #define SGEMM_DEFAULT_UNROLL_N  4
3112
3113 #define DGEMM_DEFAULT_UNROLL_M  8
3114 #define DGEMM_DEFAULT_UNROLL_N  4
3115
3116 #define CGEMM_DEFAULT_UNROLL_M  8
3117 #define CGEMM_DEFAULT_UNROLL_N  4
3118
3119 #define ZGEMM_DEFAULT_UNROLL_M  4
3120 #define ZGEMM_DEFAULT_UNROLL_N  4
3121
3122 /*FIXME: this should be using the cache size, but there is currently no easy way to
3123 query that on ARM. So if getarch counted more than 8 cores we simply assume the host
3124 is a big desktop or server with abundant cache rather than a phone or embedded device */
3125 #if NUM_CORES > 8 || defined(TSV110) || defined(EMAG8180) || defined(VORTEX)
3126   #define SGEMM_DEFAULT_P 512
3127   #define DGEMM_DEFAULT_P 256
3128   #define CGEMM_DEFAULT_P 256
3129   #define ZGEMM_DEFAULT_P 128
3130
3131   #define SGEMM_DEFAULT_Q 1024
3132   #define DGEMM_DEFAULT_Q 512
3133   #define CGEMM_DEFAULT_Q 512
3134   #define ZGEMM_DEFAULT_Q 512
3135 #else
3136   #define SGEMM_DEFAULT_P 128
3137   #define DGEMM_DEFAULT_P 160
3138   #define CGEMM_DEFAULT_P 128
3139   #define ZGEMM_DEFAULT_P 128
3140
3141   #define SGEMM_DEFAULT_Q 352
3142   #define DGEMM_DEFAULT_Q 128
3143   #define CGEMM_DEFAULT_Q 224
3144   #define ZGEMM_DEFAULT_Q 112
3145 #endif
3146
3147 #define SGEMM_DEFAULT_R 4096
3148 #define DGEMM_DEFAULT_R 4096
3149 #define CGEMM_DEFAULT_R 4096
3150 #define ZGEMM_DEFAULT_R 2048
3151
3152 #elif defined(CORTEXA53) || defined(CORTEXA55)
3153
3154 #define SGEMM_DEFAULT_UNROLL_M  8
3155 #define SGEMM_DEFAULT_UNROLL_N  8
3156
3157 #define DGEMM_DEFAULT_UNROLL_M  4
3158 #define DGEMM_DEFAULT_UNROLL_N  4
3159
3160 #define CGEMM_DEFAULT_UNROLL_M  8
3161 #define CGEMM_DEFAULT_UNROLL_N  4
3162
3163 #define ZGEMM_DEFAULT_UNROLL_M  4
3164 #define ZGEMM_DEFAULT_UNROLL_N  4
3165
3166 #define SGEMM_DEFAULT_P 256
3167 #define DGEMM_DEFAULT_P 160
3168 #define CGEMM_DEFAULT_P 128
3169 #define ZGEMM_DEFAULT_P 128
3170
3171 #define SGEMM_DEFAULT_Q 256
3172 #define DGEMM_DEFAULT_Q 128
3173 #define CGEMM_DEFAULT_Q 224
3174 #define ZGEMM_DEFAULT_Q 112
3175
3176 #define SGEMM_DEFAULT_R 4096
3177 #define DGEMM_DEFAULT_R 4096
3178 #define CGEMM_DEFAULT_R 4096
3179 #define ZGEMM_DEFAULT_R 2048
3180
3181 #elif defined(THUNDERX)
3182
3183 #define SGEMM_DEFAULT_UNROLL_M  4
3184 #define SGEMM_DEFAULT_UNROLL_N  4
3185
3186 #define DGEMM_DEFAULT_UNROLL_M  2
3187 #define DGEMM_DEFAULT_UNROLL_N  2
3188
3189 #define CGEMM_DEFAULT_UNROLL_M  2
3190 #define CGEMM_DEFAULT_UNROLL_N  2
3191
3192 #define ZGEMM_DEFAULT_UNROLL_M  2
3193 #define ZGEMM_DEFAULT_UNROLL_N  2
3194
3195 #define SGEMM_DEFAULT_P 128
3196 #define DGEMM_DEFAULT_P 128
3197 #define CGEMM_DEFAULT_P 96
3198 #define ZGEMM_DEFAULT_P 64
3199
3200 #define SGEMM_DEFAULT_Q 240
3201 #define DGEMM_DEFAULT_Q 120
3202 #define CGEMM_DEFAULT_Q 120
3203 #define ZGEMM_DEFAULT_Q 120
3204
3205 #define SGEMM_DEFAULT_R 12288
3206 #define DGEMM_DEFAULT_R 8192
3207 #define CGEMM_DEFAULT_R 4096
3208 #define ZGEMM_DEFAULT_R 4096
3209
3210 #elif defined(THUNDERX2T99)
3211
3212 #define SGEMM_DEFAULT_UNROLL_M  16
3213 #define SGEMM_DEFAULT_UNROLL_N  4
3214
3215 #define DGEMM_DEFAULT_UNROLL_M  8
3216 #define DGEMM_DEFAULT_UNROLL_N  4
3217
3218 #define CGEMM_DEFAULT_UNROLL_M  8
3219 #define CGEMM_DEFAULT_UNROLL_N  4
3220
3221 #define ZGEMM_DEFAULT_UNROLL_M  4
3222 #define ZGEMM_DEFAULT_UNROLL_N  4
3223
3224 #define SGEMM_DEFAULT_P 128
3225 #define DGEMM_DEFAULT_P 160
3226 #define CGEMM_DEFAULT_P 128
3227 #define ZGEMM_DEFAULT_P 128
3228
3229 #define SGEMM_DEFAULT_Q 352
3230 #define DGEMM_DEFAULT_Q 128
3231 #define CGEMM_DEFAULT_Q 224
3232 #define ZGEMM_DEFAULT_Q 112
3233
3234 #define SGEMM_DEFAULT_R 4096
3235 #define DGEMM_DEFAULT_R 4096
3236 #define CGEMM_DEFAULT_R 4096
3237 #define ZGEMM_DEFAULT_R 4096
3238
3239 #elif defined(THUNDERX3T110)
3240
3241 #define SGEMM_DEFAULT_UNROLL_M  16
3242 #define SGEMM_DEFAULT_UNROLL_N  4
3243
3244 #define DGEMM_DEFAULT_UNROLL_M  8
3245 #define DGEMM_DEFAULT_UNROLL_N  4
3246
3247 #define CGEMM_DEFAULT_UNROLL_M  8
3248 #define CGEMM_DEFAULT_UNROLL_N  4
3249
3250 #define ZGEMM_DEFAULT_UNROLL_M  4
3251 #define ZGEMM_DEFAULT_UNROLL_N  4
3252
3253 #define SGEMM_DEFAULT_P 128
3254 #define DGEMM_DEFAULT_P 320
3255 #define CGEMM_DEFAULT_P 128
3256 #define ZGEMM_DEFAULT_P 128
3257
3258 #define SGEMM_DEFAULT_Q 352
3259 #define DGEMM_DEFAULT_Q 128
3260 #define CGEMM_DEFAULT_Q 224
3261 #define ZGEMM_DEFAULT_Q 112
3262
3263 #define SGEMM_DEFAULT_R 4096
3264 #define DGEMM_DEFAULT_R 4096
3265 #define CGEMM_DEFAULT_R 4096
3266 #define ZGEMM_DEFAULT_R 4096
3267
3268 #elif defined(NEOVERSEN1)
3269
3270 #define SGEMM_DEFAULT_UNROLL_M  16
3271 #define SGEMM_DEFAULT_UNROLL_N  4
3272
3273 #define DGEMM_DEFAULT_UNROLL_M  8
3274 #define DGEMM_DEFAULT_UNROLL_N  4
3275
3276 #define CGEMM_DEFAULT_UNROLL_M  8
3277 #define CGEMM_DEFAULT_UNROLL_N  4
3278
3279 #define ZGEMM_DEFAULT_UNROLL_M  4
3280 #define ZGEMM_DEFAULT_UNROLL_N  4
3281
3282 #define SGEMM_DEFAULT_P 128
3283 #define DGEMM_DEFAULT_P 160
3284 #define CGEMM_DEFAULT_P 128
3285 #define ZGEMM_DEFAULT_P 128
3286
3287 #define SGEMM_DEFAULT_Q 352
3288 #define DGEMM_DEFAULT_Q 128
3289 #define CGEMM_DEFAULT_Q 224
3290 #define ZGEMM_DEFAULT_Q 112
3291
3292 #define SGEMM_DEFAULT_R 4096
3293 #define DGEMM_DEFAULT_R 4096
3294 #define CGEMM_DEFAULT_R 4096
3295 #define ZGEMM_DEFAULT_R 4096
3296
3297 #else /* Other/undetected ARMv8 cores */
3298
3299 #define SGEMM_DEFAULT_UNROLL_M  16
3300 #define SGEMM_DEFAULT_UNROLL_N  4
3301
3302 #define DGEMM_DEFAULT_UNROLL_M  8
3303 #define DGEMM_DEFAULT_UNROLL_N  4
3304
3305 #define CGEMM_DEFAULT_UNROLL_M  8
3306 #define CGEMM_DEFAULT_UNROLL_N  4
3307
3308 #define ZGEMM_DEFAULT_UNROLL_M  4
3309 #define ZGEMM_DEFAULT_UNROLL_N  4
3310
3311 #define SGEMM_DEFAULT_P 128
3312 #define DGEMM_DEFAULT_P 160
3313 #define CGEMM_DEFAULT_P 128
3314 #define ZGEMM_DEFAULT_P 128
3315
3316 #define SGEMM_DEFAULT_Q 352
3317 #define DGEMM_DEFAULT_Q 128
3318 #define CGEMM_DEFAULT_Q 224
3319 #define ZGEMM_DEFAULT_Q 112
3320
3321 #define SGEMM_DEFAULT_R 4096
3322 #define DGEMM_DEFAULT_R 4096
3323 #define CGEMM_DEFAULT_R 4096
3324 #define ZGEMM_DEFAULT_R 4096
3325
3326 #endif /* Cores */
3327
3328 #endif /* ARMv8 */
3329
3330 #if defined(ARMV5)
3331 #define SNUMOPT         2
3332 #define DNUMOPT         2
3333
3334 #define GEMM_DEFAULT_OFFSET_A 0
3335 #define GEMM_DEFAULT_OFFSET_B 0
3336 #define GEMM_DEFAULT_ALIGN (BLASLONG)0x03fffUL
3337
3338 #define SGEMM_DEFAULT_UNROLL_M  2
3339 #define SGEMM_DEFAULT_UNROLL_N  2
3340
3341 #define DGEMM_DEFAULT_UNROLL_M  2
3342 #define DGEMM_DEFAULT_UNROLL_N  2
3343
3344 #define CGEMM_DEFAULT_UNROLL_M  2
3345 #define CGEMM_DEFAULT_UNROLL_N  2
3346
3347 #define ZGEMM_DEFAULT_UNROLL_M  2
3348 #define ZGEMM_DEFAULT_UNROLL_N  2
3349
3350 #define SGEMM_DEFAULT_P 128
3351 #define DGEMM_DEFAULT_P 128
3352 #define CGEMM_DEFAULT_P 96
3353 #define ZGEMM_DEFAULT_P 64
3354
3355 #define SGEMM_DEFAULT_Q 240
3356 #define DGEMM_DEFAULT_Q 120
3357 #define CGEMM_DEFAULT_Q 120
3358 #define ZGEMM_DEFAULT_Q 120
3359
3360 #define SGEMM_DEFAULT_R 12288
3361 #define DGEMM_DEFAULT_R 8192
3362 #define CGEMM_DEFAULT_R 4096
3363 #define ZGEMM_DEFAULT_R 4096
3364
3365
3366 #define SYMV_P  16
3367 #endif
3368
3369
3370
3371 #ifdef CORTEXA9
3372 #define SNUMOPT         2
3373 #define DNUMOPT         2
3374
3375 #define GEMM_DEFAULT_OFFSET_A 0
3376 #define GEMM_DEFAULT_OFFSET_B 0
3377 #define GEMM_DEFAULT_ALIGN (BLASLONG)0x03fffUL
3378
3379 #define SGEMM_DEFAULT_UNROLL_M  4
3380 #define SGEMM_DEFAULT_UNROLL_N  4
3381
3382 #define DGEMM_DEFAULT_UNROLL_M  4
3383 #define DGEMM_DEFAULT_UNROLL_N  4
3384
3385 #define CGEMM_DEFAULT_UNROLL_M  2
3386 #define CGEMM_DEFAULT_UNROLL_N  2
3387
3388 #define ZGEMM_DEFAULT_UNROLL_M  2
3389 #define ZGEMM_DEFAULT_UNROLL_N  2
3390
3391 #define SGEMM_DEFAULT_P 128
3392 #define DGEMM_DEFAULT_P 128
3393 #define CGEMM_DEFAULT_P 96
3394 #define ZGEMM_DEFAULT_P 64
3395
3396 #define SGEMM_DEFAULT_Q 240
3397 #define DGEMM_DEFAULT_Q 120
3398 #define CGEMM_DEFAULT_Q 120
3399 #define ZGEMM_DEFAULT_Q 120
3400
3401 #define SGEMM_DEFAULT_R 12288
3402 #define DGEMM_DEFAULT_R 8192
3403 #define CGEMM_DEFAULT_R 4096
3404 #define ZGEMM_DEFAULT_R 4096
3405
3406
3407
3408 #define SYMV_P  16
3409 #endif
3410
3411
3412 #ifdef CORTEXA15
3413 #define SNUMOPT         2
3414 #define DNUMOPT         2
3415
3416 #define GEMM_DEFAULT_OFFSET_A 0
3417 #define GEMM_DEFAULT_OFFSET_B 0
3418 #define GEMM_DEFAULT_ALIGN (BLASLONG)0x03fffUL
3419
3420 #define SGEMM_DEFAULT_UNROLL_M  4
3421 #define SGEMM_DEFAULT_UNROLL_N  4
3422
3423 #define DGEMM_DEFAULT_UNROLL_M  4
3424 #define DGEMM_DEFAULT_UNROLL_N  4
3425
3426 #define CGEMM_DEFAULT_UNROLL_M  2
3427 #define CGEMM_DEFAULT_UNROLL_N  2
3428
3429 #define ZGEMM_DEFAULT_UNROLL_M  2
3430 #define ZGEMM_DEFAULT_UNROLL_N  2
3431
3432 #define SGEMM_DEFAULT_P 128
3433 #define DGEMM_DEFAULT_P 128
3434 #define CGEMM_DEFAULT_P 96
3435 #define ZGEMM_DEFAULT_P 64
3436
3437 #define SGEMM_DEFAULT_Q 240
3438 #define DGEMM_DEFAULT_Q 120
3439 #define CGEMM_DEFAULT_Q 120
3440 #define ZGEMM_DEFAULT_Q 120
3441
3442 #define SGEMM_DEFAULT_R 12288
3443 #define DGEMM_DEFAULT_R 8192
3444 #define CGEMM_DEFAULT_R 4096
3445 #define ZGEMM_DEFAULT_R 4096
3446
3447
3448
3449 #define SYMV_P  16
3450 #endif
3451
3452
3453 #if defined(ZARCH_GENERIC)
3454 #define SNUMOPT         2
3455 #define DNUMOPT         2
3456
3457 #define GEMM_DEFAULT_OFFSET_A 0
3458 #define GEMM_DEFAULT_OFFSET_B 0
3459 #define GEMM_DEFAULT_ALIGN (BLASLONG)0x03fffUL
3460
3461 #define SGEMM_DEFAULT_UNROLL_M  2
3462 #define SGEMM_DEFAULT_UNROLL_N  2
3463
3464 #define DGEMM_DEFAULT_UNROLL_M  2
3465 #define DGEMM_DEFAULT_UNROLL_N  2
3466
3467 #define CGEMM_DEFAULT_UNROLL_M  2
3468 #define CGEMM_DEFAULT_UNROLL_N  2
3469
3470 #define ZGEMM_DEFAULT_UNROLL_M  2
3471 #define ZGEMM_DEFAULT_UNROLL_N  2
3472
3473 #define SGEMM_DEFAULT_P 128
3474 #define DGEMM_DEFAULT_P 128
3475 #define CGEMM_DEFAULT_P 96
3476 #define ZGEMM_DEFAULT_P 64
3477
3478 #define SGEMM_DEFAULT_Q 240
3479 #define DGEMM_DEFAULT_Q 120
3480 #define CGEMM_DEFAULT_Q 120
3481 #define ZGEMM_DEFAULT_Q 120
3482
3483 #define SGEMM_DEFAULT_R 12288
3484 #define DGEMM_DEFAULT_R 8192
3485 #define CGEMM_DEFAULT_R 4096
3486 #define ZGEMM_DEFAULT_R 4096
3487
3488
3489 #define SYMV_P  16
3490 #endif
3491
3492 #if defined(Z13)
3493 #define SNUMOPT         2
3494 #define DNUMOPT         2
3495
3496 #define GEMM_DEFAULT_OFFSET_A 0
3497 #define GEMM_DEFAULT_OFFSET_B 0
3498 #define GEMM_DEFAULT_ALIGN (BLASLONG)0x03fffUL
3499
3500 #define SGEMM_DEFAULT_UNROLL_M  8
3501 #define SGEMM_DEFAULT_UNROLL_N  4
3502
3503 #define DGEMM_DEFAULT_UNROLL_M  8
3504 #define DGEMM_DEFAULT_UNROLL_N  4
3505
3506 #define CGEMM_DEFAULT_UNROLL_M  4
3507 #define CGEMM_DEFAULT_UNROLL_N  4
3508
3509 #define ZGEMM_DEFAULT_UNROLL_M  4
3510 #define ZGEMM_DEFAULT_UNROLL_N  4
3511
3512 #define SGEMM_DEFAULT_P 456
3513 #define DGEMM_DEFAULT_P 320
3514 #define CGEMM_DEFAULT_P 480
3515 #define ZGEMM_DEFAULT_P 224
3516
3517 #define SGEMM_DEFAULT_Q 488
3518 #define DGEMM_DEFAULT_Q 384
3519 #define CGEMM_DEFAULT_Q 128
3520 #define ZGEMM_DEFAULT_Q 352
3521
3522 #define SGEMM_DEFAULT_R 8192
3523 #define DGEMM_DEFAULT_R 4096
3524 #define CGEMM_DEFAULT_R 4096
3525 #define ZGEMM_DEFAULT_R 2048
3526
3527
3528 #define SYMV_P  16
3529 #endif
3530
3531
3532 #if defined(Z14)
3533 #define SNUMOPT         2
3534 #define DNUMOPT         2
3535
3536 #define GEMM_DEFAULT_OFFSET_A 0
3537 #define GEMM_DEFAULT_OFFSET_B 0
3538 #define GEMM_DEFAULT_ALIGN 0x03fffUL
3539
3540 #define SGEMM_DEFAULT_UNROLL_M  16
3541 #define SGEMM_DEFAULT_UNROLL_N  4
3542
3543 #define DGEMM_DEFAULT_UNROLL_M  8
3544 #define DGEMM_DEFAULT_UNROLL_N  4
3545
3546 #define CGEMM_DEFAULT_UNROLL_M  4
3547 #define CGEMM_DEFAULT_UNROLL_N  4
3548
3549 #define ZGEMM_DEFAULT_UNROLL_M  4
3550 #define ZGEMM_DEFAULT_UNROLL_N  4
3551
3552 #define SGEMM_DEFAULT_P 480
3553 #define DGEMM_DEFAULT_P 320
3554 #define CGEMM_DEFAULT_P 480
3555 #define ZGEMM_DEFAULT_P 224
3556
3557 #define SGEMM_DEFAULT_Q 512
3558 #define DGEMM_DEFAULT_Q 384
3559 #define CGEMM_DEFAULT_Q 128
3560 #define ZGEMM_DEFAULT_Q 352
3561
3562 #define SGEMM_DEFAULT_R 8192
3563 #define DGEMM_DEFAULT_R 4096
3564 #define CGEMM_DEFAULT_R 4096
3565 #define ZGEMM_DEFAULT_R 2048
3566
3567
3568 #define SYMV_P  16
3569 #endif
3570
3571
3572
3573 #ifdef GENERIC
3574
3575 #define SNUMOPT         2
3576 #define DNUMOPT         2
3577
3578 #define GEMM_DEFAULT_OFFSET_A 0
3579 #define GEMM_DEFAULT_OFFSET_B 0
3580 #define GEMM_DEFAULT_ALIGN (BLASLONG)0x0ffffUL
3581
3582 #define SGEMM_DEFAULT_UNROLL_N 2
3583 #define DGEMM_DEFAULT_UNROLL_N 2
3584 #define QGEMM_DEFAULT_UNROLL_N 2
3585 #define CGEMM_DEFAULT_UNROLL_N 2
3586 #define ZGEMM_DEFAULT_UNROLL_N 2
3587 #define XGEMM_DEFAULT_UNROLL_N 1
3588
3589 #ifdef ARCH_X86
3590 #define SGEMM_DEFAULT_UNROLL_M 2
3591 #define DGEMM_DEFAULT_UNROLL_M 2
3592 #define QGEMM_DEFAULT_UNROLL_M 2
3593 #define CGEMM_DEFAULT_UNROLL_M 2
3594 #define ZGEMM_DEFAULT_UNROLL_M 2
3595 #define XGEMM_DEFAULT_UNROLL_M 1
3596 #else
3597 #define SGEMM_DEFAULT_UNROLL_M 2
3598 #define DGEMM_DEFAULT_UNROLL_M 2
3599 #define QGEMM_DEFAULT_UNROLL_M 2
3600 #define CGEMM_DEFAULT_UNROLL_M 2
3601 #define ZGEMM_DEFAULT_UNROLL_M 2
3602 #define XGEMM_DEFAULT_UNROLL_M 1
3603 #endif
3604
3605 #ifdef ARCH_MIPS
3606 #define SGEMM_DEFAULT_P  128
3607 #define DGEMM_DEFAULT_P  128
3608 #define CGEMM_DEFAULT_P  96
3609 #define ZGEMM_DEFAULT_P  64
3610 #define SGEMM_DEFAULT_Q  240
3611 #define DGEMM_DEFAULT_Q  120
3612 #define CGEMM_DEFAULT_Q  120
3613 #define ZGEMM_DEFAULT_Q  120
3614 #define SGEMM_DEFAULT_R  12288
3615 #define DGEMM_DEFAULT_R  8192
3616 #define CGEMM_DEFAULT_R  4096
3617 #define ZGEMM_DEFAULT_R  4096
3618 #else
3619 #define SGEMM_DEFAULT_P sgemm_p
3620 #define DGEMM_DEFAULT_P dgemm_p
3621 #define QGEMM_DEFAULT_P qgemm_p
3622 #define CGEMM_DEFAULT_P cgemm_p
3623 #define ZGEMM_DEFAULT_P zgemm_p
3624 #define XGEMM_DEFAULT_P xgemm_p
3625
3626 #define SGEMM_DEFAULT_R sgemm_r
3627 #define DGEMM_DEFAULT_R dgemm_r
3628 #define QGEMM_DEFAULT_R qgemm_r
3629 #define CGEMM_DEFAULT_R cgemm_r
3630 #define ZGEMM_DEFAULT_R zgemm_r
3631 #define XGEMM_DEFAULT_R xgemm_r
3632
3633 #define SGEMM_DEFAULT_Q 128
3634 #define DGEMM_DEFAULT_Q 128
3635 #define QGEMM_DEFAULT_Q 128
3636 #define CGEMM_DEFAULT_Q 128
3637 #define ZGEMM_DEFAULT_Q 128
3638 #define XGEMM_DEFAULT_Q 128
3639 #endif
3640
3641 #define SYMV_P  16
3642
3643 #endif
3644
3645 #ifndef QGEMM_DEFAULT_UNROLL_M
3646 #define QGEMM_DEFAULT_UNROLL_M 2
3647 #endif
3648
3649 #ifndef QGEMM_DEFAULT_UNROLL_N
3650 #define QGEMM_DEFAULT_UNROLL_N 2
3651 #endif
3652
3653 #ifndef XGEMM_DEFAULT_UNROLL_M
3654 #define XGEMM_DEFAULT_UNROLL_M 2
3655 #endif
3656
3657 #ifndef XGEMM_DEFAULT_UNROLL_N
3658 #define XGEMM_DEFAULT_UNROLL_N 2
3659 #endif
3660
3661 #ifndef HAVE_SSE2
3662 #define SHUFPD_0        shufps  $0x44,
3663 #define SHUFPD_1        shufps  $0x4e,
3664 #define SHUFPD_2        shufps  $0xe4,
3665 #define SHUFPD_3        shufps  $0xee,
3666 #endif
3667
3668 #ifndef SHUFPD_0
3669 #define SHUFPD_0        shufpd  $0,
3670 #endif
3671
3672 #ifndef SHUFPD_1
3673 #define SHUFPD_1        shufpd  $1,
3674 #endif
3675
3676 #ifndef SHUFPD_2
3677 #define SHUFPD_2        shufpd  $2,
3678 #endif
3679
3680 #ifndef SHUFPD_3
3681 #define SHUFPD_3        shufpd  $3,
3682 #endif
3683
3684 #ifndef SHUFPS_39
3685 #define SHUFPS_39       shufps  $0x39,
3686 #endif
3687
3688
3689 #endif