arm_compute/core/NEON/kernels/assembly/kernels/a64_sgemm_12x8/a53.hpp

   1 /*
   2  * Copyright (c) 2017 ARM Limited.
   3  *
   4  * SPDX-License-Identifier: MIT
   5  *
   6  * Permission is hereby granted, free of charge, to any person obtaining a copy
   7  * of this software and associated documentation files (the "Software"), to
   8  * deal in the Software without restriction, including without limitation the
   9  * rights to use, copy, modify, merge, publish, distribute, sublicense, and/or
  10  * sell copies of the Software, and to permit persons to whom the Software is
  11  * furnished to do so, subject to the following conditions:
  12  *
  13  * The above copyright notice and this permission notice shall be included in all
  14  * copies or substantial portions of the Software.
  15  *
  16  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  17  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  18  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
  19  * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
  20  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
  21  * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
  22  * SOFTWARE.
  23  */
  24 #pragma once
  25
  26 inline void a64_sgemm_asimd_12x8_a53(const float *Apanel, const float *Bpanel, float *Cpanel, int ablocks, int bblocks, int K) {
  27     const float *a_ptr = Apanel;
  28     float *c_ptr = Cpanel;
  29
  30     for (int yb=0; yb<ablocks; yb++) {
  31         const float *a_ptr0 = a_ptr;
  32         const float *b_ptr = Bpanel;
  33
  34         for (int xb=0; xb<bblocks; xb++) {
  35             a_ptr = a_ptr0;
  36             // Fix up for odd lengths - set a flag if K is odd, but make
  37             // sure we round up the iteration count.
  38             int oddk = (K & 1);
  39             int k = ((K+1)/2) - 1;
  40
  41             register float32x4_t a0  asm("v0");
  42             register float32x4_t a1  asm("v1");
  43             register float32x4_t b0  asm("v2");
  44             register float32x4_t b1  asm("v3");
  45             register float32x4_t b2  asm("v4");
  46             register float32x4_t a0a asm("v5");
  47             register float32x4_t a1a asm("v6");
  48
  49             __asm __volatile (
  50                 // Initialize result registers, load initial operands, prime prefetches.
  51                 "movi   v8.4s, #0x0\n"
  52                 "ldr    %q[a0], [%[a_ptr]]\n"
  53                 "movi   v9.4s, #0x0\n"
  54                 "ldr    %q[b0], [%[b_ptr]]\n"
  55                 "movi   v10.4s, #0x0\n"
  56                 "ldr    %q[a1], [%[a_ptr], #16]\n"
  57                 "movi   v11.4s, #0x0\n"
  58                 "ldr    %q[b1], [%[b_ptr], #16]\n"
  59                 "movi   v12.4s, #0x0\n"
  60                 ASM_PREFETCH("[%[b_ptr], #64]")
  61                 "movi   v13.4s, #0x0\n"
  62                 ASM_PREFETCH("[%[a_ptr], #64]")
  63                 "movi   v14.4s, #0x0\n"
  64                 ASM_PREFETCH("[%[b_ptr], #128]")
  65                 "movi   v15.4s, #0x0\n"
  66                 ASM_PREFETCH("[%[a_ptr], #128]")
  67                 "movi   v16.4s, #0x0\n"
  68                 ASM_PREFETCH("[%[b_ptr], #192]")
  69                 "movi   v17.4s, #0x0\n"
  70                 ASM_PREFETCH("[%[b_ptr], #256]")
  71                 "movi   v18.4s, #0x0\n"
  72                 ASM_PREFETCH("[%[a_ptr], #192]")
  73                 "movi   v19.4s, #0x0\n"
  74                 ASM_PREFETCH("[%[b_ptr], #320]")
  75                 "movi   v20.4s, #0x0\n"
  76                 ASM_PREFETCH("[%[a_ptr], #256]")
  77                 "movi   v21.4s, #0x0\n"
  78                 ASM_PREFETCH("[%[b_ptr], #384]")
  79                 "movi   v22.4s, #0x0\n"
  80                 "movi   v23.4s, #0x0\n"
  81                 "movi   v24.4s, #0x0\n"
  82                 "movi   v25.4s, #0x0\n"
  83                 "movi   v26.4s, #0x0\n"
  84                 "movi   v27.4s, #0x0\n"
  85                 "movi   v28.4s, #0x0\n"
  86                 "movi   v29.4s, #0x0\n"
  87                 "movi   v30.4s, #0x0\n"
  88                 "movi   v31.4s, #0x0\n"
  89
  90                 // Skip loop if we are doing zero iterations of it.
  91                 "cbz    %w[k], 4f\n"
  92
  93                 "1:\n"
  94                 // Unroll 0
  95                 "ldr    %d[b2], [%[b_ptr], #32]\n"
  96                 "nop\n"
  97                 "fmla   v8.4s , %[b0].4s, %[a0].s[0]\n"
  98                 "ldr    x20, [%[b_ptr], #40]\n"
  99                 "fmla   v9.4s , %[b0].4s, %[a0].s[1]\n"
 100                 "subs   %w[k], %w[k], #1\n"
 101                 "fmla   v10.4s, %[b0].4s, %[a0].s[2]\n"
 102
 103                 "ldr    %d[a0a], [%[a_ptr], #32]\n"
 104                 "ins    %[b2].d[1], x20\n"
 105                 "fmla   v11.4s, %[b0].4s, %[a0].s[3]\n"
 106                 "ldr    x20, [%[a_ptr], #40]\n"
 107                 "fmla   v12.4s, %[b0].4s, %[a1].s[0]\n"
 108                 "fmla   v13.4s, %[b0].4s, %[a1].s[1]\n"
 109
 110                 "ldr    %d[a1a], [%[a_ptr], #48]\n"
 111                 "ins    %[a0a].d[1], x20\n"
 112                 "fmla   v14.4s, %[b0].4s, %[a1].s[2]\n"
 113                 "ldr    x20, [%[a_ptr], #56]\n"
 114                 "fmla   v15.4s, %[b0].4s, %[a1].s[3]\n"
 115                 "fmla   v16.4s, %[b1].4s, %[a0].s[0]\n"
 116
 117                 "ldr    %d[b0], [%[b_ptr], #48]\n"
 118                 "ins    %[a1a].d[1], x20\n"
 119                 "fmla   v17.4s, %[b1].4s, %[a0].s[1]\n"
 120                 "ldr    x20, [%[b_ptr], #56]\n"
 121                 "fmla   v18.4s, %[b1].4s, %[a0].s[2]\n"
 122                 "fmla   v19.4s, %[b1].4s, %[a0].s[3]\n"
 123
 124                 ASM_PREFETCH("[%[a_ptr], #320]")
 125                 "ins    %[b0].d[1], x20\n"
 126                 "fmla   v20.4s, %[b1].4s, %[a1].s[0]\n"
 127                 "fmla   v21.4s, %[b1].4s, %[a1].s[1]\n"
 128                 "fmla   v22.4s, %[b1].4s, %[a1].s[2]\n"
 129
 130                 ASM_PREFETCH("[%[b_ptr], #448]")
 131                 "nop\n"
 132                 "fmla   v23.4s, %[b1].4s, %[a1].s[3]\n"
 133                 "fmla   v24.4s, %[b2].4s, %[a0].s[0]\n"
 134                 "fmla   v25.4s, %[b2].4s, %[a0].s[1]\n"
 135
 136                 "ldr    %d[b1], [%[b_ptr], #64]\n"
 137                 "nop\n"
 138                 "fmla   v26.4s, %[b2].4s, %[a0].s[2]\n"
 139                 "ldr    x20, [%[b_ptr], #72]\n"
 140                 "fmla   v27.4s, %[b2].4s, %[a0].s[3]\n"
 141                 "fmla   v28.4s, %[b2].4s, %[a1].s[0]\n"
 142
 143                 ASM_PREFETCH("[%[b_ptr], #512]")
 144                 "ins    %[b1].d[1], x20\n"
 145                 "fmla   v29.4s, %[b2].4s, %[a1].s[1]\n"
 146                 "fmla   v30.4s, %[b2].4s, %[a1].s[2]\n"
 147                 "fmla   v31.4s, %[b2].4s, %[a1].s[3]\n"
 148
 149                 // Unroll 1
 150                 "ldr    %d[b2], [%[b_ptr], #80]\n"
 151                 "nop\n"
 152                 "fmla   v8.4s , %[b0].4s, %[a0a].s[0]\n"
 153                 "ldr    x20, [%[b_ptr], #88]\n"
 154                 "fmla   v9.4s , %[b0].4s, %[a0a].s[1]\n"
 155                 "fmla   v10.4s, %[b0].4s, %[a0a].s[2]\n"
 156
 157                 "ldr    %d[a0], [%[a_ptr], #64]\n"
 158                 "ins    %[b2].d[1], x20\n"
 159                 "fmla   v11.4s, %[b0].4s, %[a0a].s[3]\n"
 160                 "ldr    x20, [%[a_ptr], #72]\n"
 161                 "fmla   v12.4s, %[b0].4s, %[a1a].s[0]\n"
 162                 "fmla   v13.4s, %[b0].4s, %[a1a].s[1]\n"
 163
 164                 "ldr    %d[a1], [%[a_ptr], #80]\n"
 165                 "ins    %[a0].d[1], x20\n"
 166                 "fmla   v14.4s, %[b0].4s, %[a1a].s[2]\n"
 167                 "ldr    x20, [%[a_ptr], #88]\n"
 168                 "fmla   v15.4s, %[b0].4s, %[a1a].s[3]\n"
 169                 "fmla   v16.4s, %[b1].4s, %[a0a].s[0]\n"
 170
 171                 "ldr    %d[b0], [%[b_ptr], #96]\n"
 172                 "ins    %[a1].d[1], x20\n"
 173                 "fmla   v17.4s, %[b1].4s, %[a0a].s[1]\n"
 174                 "ldr    x20, [%[b_ptr], #104]\n"
 175                 "fmla   v18.4s, %[b1].4s, %[a0a].s[2]\n"
 176                 "fmla   v19.4s, %[b1].4s, %[a0a].s[3]\n"
 177
 178                 "nop\n"
 179                 "ins    %[b0].d[1], x20\n"
 180                 "fmla   v20.4s, %[b1].4s, %[a1a].s[0]\n"
 181                 "fmla   v21.4s, %[b1].4s, %[a1a].s[1]\n"
 182                 "fmla   v22.4s, %[b1].4s, %[a1a].s[2]\n"
 183
 184                 "nop\n"
 185                 "nop\n"
 186                 "fmla   v23.4s, %[b1].4s, %[a1a].s[3]\n"
 187                 "fmla   v24.4s, %[b2].4s, %[a0a].s[0]\n"
 188                 "fmla   v25.4s, %[b2].4s, %[a0a].s[1]\n"
 189
 190                 "ldr    %d[b1], [%[b_ptr], #112]\n"
 191                 "nop\n"
 192                 "fmla   v26.4s, %[b2].4s, %[a0a].s[2]\n"
 193                 "ldr    x20, [%[b_ptr], #120]\n"
 194                 "fmla   v27.4s, %[b2].4s, %[a0a].s[3]\n"
 195                 "add    %[a_ptr], %[a_ptr], #64\n"
 196                 "fmla   v28.4s, %[b2].4s, %[a1a].s[0]\n"
 197                 "add    %[b_ptr], %[b_ptr], #96\n"
 198
 199                 "nop\n"
 200                 "ins    %[b1].d[1], x20\n"
 201                 "fmla   v29.4s, %[b2].4s, %[a1a].s[1]\n"
 202                 "fmla   v30.4s, %[b2].4s, %[a1a].s[2]\n"
 203                 "fmla   v31.4s, %[b2].4s, %[a1a].s[3]\n"
 204
 205                 "bne    1b\n"
 206
 207                 // Branch here if K=1 or 2.  Do the right thing for odd/even at the end.
 208                 "4:\n"
 209                 "cbnz   %w[oddk], 2f\n"
 210
 211                 // Detached final iteration. (even K)
 212                 "ldr    %d[b2], [%[b_ptr], #32]\n"
 213                 "nop\n"
 214                 "fmla   v8.4s , %[b0].4s, %[a0].s[0]\n"
 215                 "ldr    x20, [%[b_ptr], #40]\n"
 216                 "fmla   v9.4s , %[b0].4s, %[a0].s[1]\n"
 217                 "subs   %w[k], %w[k], #1\n"
 218                 "fmla   v10.4s, %[b0].4s, %[a0].s[2]\n"
 219
 220                 "ldr    %d[a0a], [%[a_ptr], #32]\n"
 221                 "ins    %[b2].d[1], x20\n"
 222                 "fmla   v11.4s, %[b0].4s, %[a0].s[3]\n"
 223                 "ldr    x20, [%[a_ptr], #40]\n"
 224                 "fmla   v12.4s, %[b0].4s, %[a1].s[0]\n"
 225                 "fmla   v13.4s, %[b0].4s, %[a1].s[1]\n"
 226
 227                 "ldr    %d[a1a], [%[a_ptr], #48]\n"
 228                 "ins    %[a0a].d[1], x20\n"
 229                 "fmla   v14.4s, %[b0].4s, %[a1].s[2]\n"
 230                 "ldr    x20, [%[a_ptr], #56]\n"
 231                 "fmla   v15.4s, %[b0].4s, %[a1].s[3]\n"
 232                 "fmla   v16.4s, %[b1].4s, %[a0].s[0]\n"
 233
 234                 "ldr    %d[b0], [%[b_ptr], #48]\n"
 235                 "ins    %[a1a].d[1], x20\n"
 236                 "fmla   v17.4s, %[b1].4s, %[a0].s[1]\n"
 237                 "ldr    x20, [%[b_ptr], #56]\n"
 238                 "fmla   v18.4s, %[b1].4s, %[a0].s[2]\n"
 239                 "fmla   v19.4s, %[b1].4s, %[a0].s[3]\n"
 240
 241                 "ins    %[b0].d[1], x20\n"
 242                 "fmla   v20.4s, %[b1].4s, %[a1].s[0]\n"
 243                 "fmla   v21.4s, %[b1].4s, %[a1].s[1]\n"
 244                 "fmla   v22.4s, %[b1].4s, %[a1].s[2]\n"
 245
 246                 "nop\n"
 247                 "fmla   v23.4s, %[b1].4s, %[a1].s[3]\n"
 248                 "fmla   v24.4s, %[b2].4s, %[a0].s[0]\n"
 249                 "fmla   v25.4s, %[b2].4s, %[a0].s[1]\n"
 250
 251                 "ldr    %d[b1], [%[b_ptr], #64]\n"
 252                 "nop\n"
 253                 "fmla   v26.4s, %[b2].4s, %[a0].s[2]\n"
 254                 "ldr    x20, [%[b_ptr], #72]\n"
 255                 "fmla   v27.4s, %[b2].4s, %[a0].s[3]\n"
 256                 "fmla   v28.4s, %[b2].4s, %[a1].s[0]\n"
 257
 258                 "ins    %[b1].d[1], x20\n"
 259                 "fmla   v29.4s, %[b2].4s, %[a1].s[1]\n"
 260                 "fmla   v30.4s, %[b2].4s, %[a1].s[2]\n"
 261                 "fmla   v31.4s, %[b2].4s, %[a1].s[3]\n"
 262
 263                 "ldr    %d[b2], [%[b_ptr], #80]\n"
 264                 "nop\n"
 265                 "fmla   v8.4s , %[b0].4s, %[a0a].s[0]\n"
 266                 "ldr    x20, [%[b_ptr], #88]\n"
 267                 "fmla   v9.4s , %[b0].4s, %[a0a].s[1]\n"
 268                 "fmla   v10.4s, %[b0].4s, %[a0a].s[2]\n"
 269
 270                 "ins    %[b2].d[1], x20\n"
 271                 "fmla   v11.4s, %[b0].4s, %[a0a].s[3]\n"
 272                 "fmla   v12.4s, %[b0].4s, %[a1a].s[0]\n"
 273                 "fmla   v13.4s, %[b0].4s, %[a1a].s[1]\n"
 274                 "fmla   v14.4s, %[b0].4s, %[a1a].s[2]\n"
 275                 "fmla   v15.4s, %[b0].4s, %[a1a].s[3]\n"
 276                 "fmla   v16.4s, %[b1].4s, %[a0a].s[0]\n"
 277                 "fmla   v17.4s, %[b1].4s, %[a0a].s[1]\n"
 278                 "fmla   v18.4s, %[b1].4s, %[a0a].s[2]\n"
 279                 "fmla   v19.4s, %[b1].4s, %[a0a].s[3]\n"
 280                 "fmla   v20.4s, %[b1].4s, %[a1a].s[0]\n"
 281                 "fmla   v21.4s, %[b1].4s, %[a1a].s[1]\n"
 282                 "fmla   v22.4s, %[b1].4s, %[a1a].s[2]\n"
 283                 "fmla   v23.4s, %[b1].4s, %[a1a].s[3]\n"
 284                 "fmla   v24.4s, %[b2].4s, %[a0a].s[0]\n"
 285                 "fmla   v25.4s, %[b2].4s, %[a0a].s[1]\n"
 286                 "fmla   v26.4s, %[b2].4s, %[a0a].s[2]\n"
 287                 "fmla   v27.4s, %[b2].4s, %[a0a].s[3]\n"
 288                 "fmla   v28.4s, %[b2].4s, %[a1a].s[0]\n"
 289                 "fmla   v29.4s, %[b2].4s, %[a1a].s[1]\n"
 290                 "add    %[a_ptr], %[a_ptr], #64\n"
 291                 "fmla   v30.4s, %[b2].4s, %[a1a].s[2]\n"
 292                 "add    %[b_ptr], %[b_ptr], #96\n"
 293                 "fmla   v31.4s, %[b2].4s, %[a1a].s[3]\n"
 294                 "b      3f\n"
 295
 296                 // Detached final iteration. (odd K)
 297                 "2:\n"
 298                 "ldr    %d[b2], [%[b_ptr], #32]\n"
 299                 "nop\n"
 300                 "fmla   v8.4s , %[b0].4s, %[a0].s[0]\n"
 301                 "ldr    x20, [%[b_ptr], #40]\n"
 302                 "fmla   v9.4s , %[b0].4s, %[a0].s[1]\n"
 303                 "fmla   v10.4s, %[b0].4s, %[a0].s[2]\n"
 304
 305                 "ins    %[b2].d[1], x20\n"
 306                 "fmla   v11.4s, %[b0].4s, %[a0].s[3]\n"
 307                 "fmla   v12.4s, %[b0].4s, %[a1].s[0]\n"
 308                 "fmla   v13.4s, %[b0].4s, %[a1].s[1]\n"
 309                 "fmla   v14.4s, %[b0].4s, %[a1].s[2]\n"
 310                 "fmla   v15.4s, %[b0].4s, %[a1].s[3]\n"
 311                 "fmla   v16.4s, %[b1].4s, %[a0].s[0]\n"
 312                 "fmla   v17.4s, %[b1].4s, %[a0].s[1]\n"
 313                 "fmla   v18.4s, %[b1].4s, %[a0].s[2]\n"
 314                 "fmla   v19.4s, %[b1].4s, %[a0].s[3]\n"
 315                 "fmla   v20.4s, %[b1].4s, %[a1].s[0]\n"
 316                 "fmla   v21.4s, %[b1].4s, %[a1].s[1]\n"
 317                 "fmla   v22.4s, %[b1].4s, %[a1].s[2]\n"
 318                 "fmla   v23.4s, %[b1].4s, %[a1].s[3]\n"
 319                 "fmla   v24.4s, %[b2].4s, %[a0].s[0]\n"
 320                 "fmla   v25.4s, %[b2].4s, %[a0].s[1]\n"
 321                 "fmla   v26.4s, %[b2].4s, %[a0].s[2]\n"
 322                 "fmla   v27.4s, %[b2].4s, %[a0].s[3]\n"
 323                 "fmla   v28.4s, %[b2].4s, %[a1].s[0]\n"
 324                 "fmla   v29.4s, %[b2].4s, %[a1].s[1]\n"
 325                 "add    %[a_ptr], %[a_ptr], #32\n"
 326                 "fmla   v30.4s, %[b2].4s, %[a1].s[2]\n"
 327                 "add    %[b_ptr], %[b_ptr], #48\n"
 328                 "fmla   v31.4s, %[b2].4s, %[a1].s[3]\n"
 329
 330                 // Common tail
 331                 "3:\n"
 332                 "str    q8,  [%[c_ptr]]\n"
 333                 "str    q16,  [%[c_ptr], #16]\n"
 334                 "str    q24,  [%[c_ptr], #32]\n"
 335                 "str    q9,  [%[c_ptr], #48]\n"
 336                 "str    q17,  [%[c_ptr], #64]\n"
 337                 "str    q25,  [%[c_ptr], #80]\n"
 338                 "str    q10,  [%[c_ptr], #96]\n"
 339                 "str    q18,  [%[c_ptr], #112]\n"
 340                 "str    q26,  [%[c_ptr], #128]\n"
 341                 "str    q11,  [%[c_ptr], #144]\n"
 342                 "str    q19,  [%[c_ptr], #160]\n"
 343                 "str    q27,  [%[c_ptr], #176]\n"
 344                 "str    q12,  [%[c_ptr], #192]\n"
 345                 "str    q20,  [%[c_ptr], #208]\n"
 346                 "str    q28,  [%[c_ptr], #224]\n"
 347                 "str    q13,  [%[c_ptr], #240]\n"
 348                 "str    q21,  [%[c_ptr], #256]\n"
 349                 "str    q29,  [%[c_ptr], #272]\n"
 350                 "str    q14,  [%[c_ptr], #288]\n"
 351                 "str    q22,  [%[c_ptr], #304]\n"
 352                 "str    q30,  [%[c_ptr], #320]\n"
 353                 "str    q15,  [%[c_ptr], #336]\n"
 354                 "str    q23,  [%[c_ptr], #352]\n"
 355                 "str    q31,  [%[c_ptr], #368]\n"
 356                 "add    %[c_ptr], %[c_ptr], #384\n"
 357             :
 358               [a_ptr] "+r" (a_ptr), [b_ptr] "+r" (b_ptr), [c_ptr] "+r" (c_ptr),
 359               [a0] "+w" (a0), [a1] "+w" (a1), [a0a] "+w" (a0a), [a1a] "+w" (a1a),
 360               [b0] "+w" (b0), [b1] "+w" (b1), [b2] "+w" (b2), [k] "+r" (k)
 361             : [oddk] "r" (oddk)
 362             : "x20", "x21", "v8", "v9", "v10", "v11", "v12", "v13", "v14", "v15", "v16", "v17", "v18",
 363               "v19", "v20", "v21", "v22", "v23", "v24", "v25", "v26", "v27", "v28", "v29", "v30", "v31", "cc"
 364             );
 365         }
 366     }
 367 }
 368