docs/release/onert-micro/0.1/release-note-0.1.0.md

   1 ## Release Notes for onert-micro 0.1.0
   2
   3 _onert-micro_ is tiny runtime specialized for running NN model in MCU boards. Note that onert-micro is under active development and is subject to change.
   4
   5 ### Supported operations
   6
   7 For MCU board, we support 22 operations as follows :
   8
   9    ADD, FULLY_CONNECTED, CONV_2D, LOGISTIC ,GATHER, EXPAND_DIMS, PACK, RESHAPE, REDUCE_PROD, LESS, MUL, MAX_POOL_2D, CONCATENATION, SHAPE, SLICE, SUB, SPLIT, STRIDED_SLICE, TANH, SOFTMAX, WHILE, UNIDIRECTIONAL_SEQUENCE_LSTM
  10
  11 ### RNN Model
  12
  13 #### LSTM
  14
  15 onert-micro supports Keras model with LSTM operations. But, it should be converted to UNIDIRECTIONAL_SEQUENCE_LSTM operation in circle format.
  16
  17 #### GRU
  18
  19 onert-micro supports model with GRU Operations, which is converted from Keras Model. Please refer to https://github.com/Samsung/ONE/issues/10465 to see GRU operation supported by onert-micro.
  20
  21 ### Benchmark
  22
  23 onert-micro shows better performance than tflite-micro especially in memory consumption, binary size.
  24
  25 The measurement is done on TizenRT running reference models on the development board with the following spec :
  26
  27 - 32-bit Arm Cortex-M33 200MHz
  28 - 4MB RAM, 8MB Flash
  29
  30 Commit for measurement :
  31 - tflite-micro commit: https://github.com/tensorflow/tflite-micro/commit/4e62ea7b821c1e6af004912132395fb81922ea8d
  32
  33 - onert-micro commit: https://github.com/Samsung/ONE/commit/c763867500fe3d80bfd1ef834990d34a81640d17
  34 #### L model
  35
  36 | Params                            | Tflite micro    | Onert-micro |
  37 |-----------------------------------|---------------|-------------|
  38 | Execution time(us)*               | **2 912 700** | 2 953 000   |
  39 | RAM consumption(bytes)            | 126 800       | **93 376**  |
  40 | Binary file size overhead (bytes) | 57 676        | **32 248**  |
  41
  42
  43 #### T1 model
  44
  45 Params | Tflite micro | Onert-micro |
  46 --- | --- | ---
  47 Execution time(us)* | **1 340** | 1 510 |
  48 RAM consumption(bytes) | 1 640 | **1 152** |
  49 Binary file size overhead (bytes) | 35 040 | **19 432** |
  50
  51 #### T2 model
  52
  53 Params | Tflite micro** | Onert-micro |
  54 --- | --- | ---
  55 Execution time(us)* | N/A | 5 090 |
  56 RAM consumption(bytes) | N/A | 3 360 |
  57 Binary file size overhead (bytes) | N/A | 30 488 |
  58
  59 #### Model with GRU operations
  60
  61 - model link : https://github.com/Samsung/ONE/files/8368702/gru.zip
  62
  63 Params | Tflite micro** | Onert-micro |
  64 --- | --- | ---
  65 Execution time(us)* | N/A | 335 000 |
  66 RAM consumption(bytes) | N/A | 14 816 |
  67 Binary file size overhead (bytes) | N/A | 43 444 |
  68
  69
  70 (*) Average for 100 inferences
  71 (**) Tflite-micro has not launched this model
  72