[WIP] [Tensor] Add __fp16 supporting functions in blas_interface
[platform/core/ml/nntrainer.git] / nntrainer / tensor / blas_interface.h
1 // SPDX-License-Identifier: Apache-2.0
2 /**
3  * Copyright (C) 2020 Jijoong Moon <jijoong.moon@samsung.com>
4  *
5  * @file   blas_interface.h
6  * @date   28 Aug 2020
7  * @see    https://github.com/nnstreamer/nntrainer
8  * @author Jijoong Moon <jijoong.moon@samsung.com>
9  * @bug    No known bugs except for NYI items
10  * @brief  This is dummy header for blas support
11  *
12  */
13
14 #ifndef __BLAS_INTERFACE_H_
15 #define __BLAS_INTERFACE_H_
16 #ifdef __cplusplus
17
18 #ifdef USE_BLAS
19 extern "C" {
20 #include <cblas.h>
21 }
22 #else
23 enum CBLAS_ORDER { CblasRowMajor = 101, CblasColMajor = 102 };
24
25 enum CBLAS_TRANSPOSE {
26   CblasNoTrans = 111,
27   CblasTrans = 112,
28   CblasConjTrans = 113
29 };
30
31 #endif
32
33 #ifdef USE_CUBLAS
34 #include <helper_cuda.h>
35 #include <helper_functions.h>
36 #endif
37
38 #include <tensor_dim.h>
39
40 namespace nntrainer {
41
42 void sscal(const unsigned int N, const float alpha, void *X, const int incX,
43            ml::train::TensorDim::DataType d_type);
44
45 void sscal(const unsigned int N, const float alpha, float *X, const int incX);
46
47 void sscal(const unsigned int N, const float alpha, __fp16 *X, const int incX);
48
49 float snrm2(const int N, const float *X, const int incX);
50
51 __fp16 snrm2(const int N, const __fp16 *X, const int incX);
52
53 void scopy(const unsigned int N, const void *X, const int incX, void *Y,
54            const int incY, ml::train::TensorDim::DataType d_type);
55
56 void scopy(const unsigned int N, const float *X, const int incX, float *Y,
57            const int intY);
58
59 void scopy(const unsigned int N, const __fp16 *X, const int incX, __fp16 *Y,
60            const int intY);
61
62 float sdot(const unsigned int N, const float *X, const unsigned int incX,
63            const float *Y, const unsigned int incY);
64
65 __fp16 sdot(const unsigned int N, const __fp16 *X, const unsigned int incX,
66             const __fp16 *Y, const unsigned int incY);
67
68 void saxpy(const unsigned int N, const float alpha, const void *X,
69            const int incX, void *Y, const int incY,
70            ml::train::TensorDim::DataType d_type);
71
72 void saxpy(const unsigned int N, const float alpha, const float *X,
73            const int incX, float *Y, const int incY);
74
75 void saxpy(const unsigned int N, const float alpha, const __fp16 *X,
76            const int incX, __fp16 *Y, const int incY);
77
78 void sgemm(CBLAS_ORDER order, CBLAS_TRANSPOSE TransA, CBLAS_TRANSPOSE TransB,
79            const unsigned int M, const unsigned int N, const unsigned int K,
80            const float alpha, const void *A, const unsigned int lda,
81            const void *B, const unsigned int ldb, const float beta, void *C,
82            const unsigned int ldc, ml::train::TensorDim::DataType d_type);
83
84 void sgemm(CBLAS_ORDER order, CBLAS_TRANSPOSE TransA, CBLAS_TRANSPOSE TransB,
85            const unsigned int M, const unsigned int N, const unsigned int K,
86            const float alpha, const float *A, const unsigned int lda,
87            const float *B, const unsigned int ldb, const float beta, float *C,
88            const unsigned int ldc);
89
90 void sgemm(CBLAS_ORDER order, CBLAS_TRANSPOSE TransA, CBLAS_TRANSPOSE TransB,
91            const unsigned int M, const unsigned int N, const unsigned int K,
92            const float alpha, const __fp16 *A, const unsigned int lda,
93            const __fp16 *B, const unsigned int ldb, const float beta, __fp16 *C,
94            const unsigned int ldc);
95
96 void sgemv(CBLAS_ORDER order, CBLAS_TRANSPOSE TransA, const unsigned int M,
97            const unsigned int N, const float alpha, const void *A,
98            const unsigned int lda, const void *X, const int incX,
99            const float beta, void *Y, const int incY,
100            ml::train::TensorDim::DataType d_type);
101
102 void sgemv(CBLAS_ORDER order, CBLAS_TRANSPOSE TransA, const unsigned int M,
103            const unsigned int N, const float alpha, const float *A,
104            const unsigned int lda, const float *X, const int incX,
105            const float beta, float *Y, const int incY);
106
107 void sgemv(CBLAS_ORDER order, CBLAS_TRANSPOSE TransA, const unsigned int M,
108            const unsigned int N, const float alpha, const __fp16 *A,
109            const unsigned int lda, const __fp16 *X, const int incX,
110            const float beta, __fp16 *Y, const int incY);
111
112 unsigned int isamax(const unsigned int N, const float *X, const int incX);
113
114 unsigned int isamax(const unsigned int N, const __fp16 *X, const int incX);
115
116 } /* namespace nntrainer */
117 #endif /* __cplusplus */
118 #endif /* __BLAS_INTERFACE_H__ */