model-optimizer/mo/front/mxnet/extractors/leaky_relu.py

   1 """
   2  Copyright (c) 2018-2019 Intel Corporation
   3
   4  Licensed under the Apache License, Version 2.0 (the "License");
   5  you may not use this file except in compliance with the License.
   6  You may obtain a copy of the License at
   7
   8       http://www.apache.org/licenses/LICENSE-2.0
   9
  10  Unless required by applicable law or agreed to in writing, software
  11  distributed under the License is distributed on an "AS IS" BASIS,
  12  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13  See the License for the specific language governing permissions and
  14  limitations under the License.
  15 """
  16
  17 from mo.front.extractor import FrontExtractorOp
  18 from mo.front.mxnet.extractors.utils import get_mxnet_layer_attrs
  19 from mo.ops.relu import ReLU
  20 from mo.ops.activation import Activation
  21 from mo.utils.error import Error
  22 from extensions.ops.prelu import PreluOp
  23 from mo.utils.utils import refer_to_faq_msg
  24
  25
  26 class LeakyReLUFrontExtractor(FrontExtractorOp):
  27     op = 'LeakyReLU'
  28     enabled = True
  29
  30     @staticmethod
  31     def extract(node):
  32         attrs = get_mxnet_layer_attrs(node.symbol_dict)
  33         act_type = attrs.str('act_type', 'leaky')
  34         if act_type == 'prelu':
  35             prelu_attrs = {'channel_shared': 1,
  36                            'filler_type': 'constant',
  37                            'filler_value': 0,
  38                            'min': 0,
  39                            'max': 1,
  40                            'mean': 0,
  41                            'std': 0,
  42                            'sparse': -1,
  43                            'variance_norm': "caffe.FillerParameter.FAN_IN"}
  44             PreluOp.update_node_stat(node, prelu_attrs)
  45         elif act_type == 'elu':
  46             Activation.update_node_stat(node, {'operation': act_type})
  47         elif act_type == 'leaky':
  48             negative_slope = attrs.float('slope', 0.25)
  49             ReLU.update_node_stat(node, {'negative_slope': negative_slope})
  50         else:
  51             raise Error(
  52                 "Operation '{}' not supported. Please register it as custom op. " +
  53                 refer_to_faq_msg(86),
  54                 act_type)
  55
  56         return LeakyReLUFrontExtractor.enabled