build_common/SConscript

   1 # -*- mode: python; python-indent-offset: 4; indent-tabs-mode: nil -*-
   2 ##
   3 # This script includes generic build options:
   4 #    release/debug, target os, target arch, cross toolchain, build environment etc
   5 ##
   6 import os
   7 import platform
   8
   9 project_version = '1.2.0'
  10
  11 # Map of host os and allowed target os (host: allowed target os)
  12 host_target_map = {
  13     'linux': ['linux', 'android', 'arduino', 'yocto', 'tizen'],
  14     'windows': ['windows', 'android', 'arduino'],
  15     'darwin': ['darwin', 'ios', 'android', 'arduino'],
  16     'msys_nt' :['msys_nt'],
  17 }
  18
  19 # Map of os and allowed archs (os: allowed archs)
  20 os_arch_map = {
  21     'linux': ['x86', 'x86_64', 'arm', 'arm-v7a', 'armeabi-v7a', 'arm64', 'mips', 'mipsel', 'mips64', 'mips64el', 'i386', 'powerpc', 'sparc', 'aarch64'],
  22     'tizen': ['x86', 'x86_64', 'arm', 'arm-v7a', 'armeabi-v7a', 'arm64'],
  23     'android': ['x86', 'x86_64', 'armeabi', 'armeabi-v7a', 'armeabi-v7a-hard', 'arm64-v8a'],
  24     'windows': ['x86', 'amd64', 'arm'],
  25     'msys_nt':['x86', 'x86_64'],
  26     'darwin': ['i386', 'x86_64'],
  27     'ios': ['i386', 'x86_64', 'armv7', 'armv7s', 'arm64'],
  28     'arduino': ['avr', 'arm'],
  29     'yocto': ['i586', 'i686', 'x86_64', 'arm', 'aarch64', 'powerpc', 'powerpc64', 'mips', 'mipsel'],
  30 }
  31
  32 host = platform.system().lower()
  33
  34 # the host string contains version of windows. 6.3, 6.4, 10.0 which is 8.0, 8.1, and 10 respectively.
  35 # Let's canonicalize the msys_nt-XX.X system name by stripping version off.
  36 if 'msys_nt' in host:
  37     host = 'msys_nt'
  38
  39 if not host_target_map.has_key(host):
  40     print "\nError: Current system (%s) isn't supported\n" % host
  41     Exit(1)
  42
  43 ######################################################################
  44 # Get build options (the optins from command line)
  45 ######################################################################
  46 target_os = ARGUMENTS.get('TARGET_OS', host).lower() # target os
  47
  48 if target_os not in host_target_map[host]:
  49     print "\nError: Unknown target os: %s (Allow values: %s)\n" % (target_os, host_target_map[host])
  50     Exit(1)
  51
  52 if target_os == 'android':
  53     default_arch = 'x86'
  54 else:
  55     default_arch = platform.machine()
  56
  57 if default_arch not in os_arch_map[target_os]:
  58     default_arch = os_arch_map[target_os][0].lower()
  59
  60 target_arch = ARGUMENTS.get('TARGET_ARCH', default_arch) # target arch
  61
  62 # True if binary needs to be installed on board. (Might need root permissions)
  63 # set to 'no', 'false' or 0 for only compilation
  64 require_upload = ARGUMENTS.get('UPLOAD', False)
  65
  66 # Get the device name. This name can be used as network display name wherever possible
  67 device_name = ARGUMENTS.get('DEVICE_NAME', "OIC-DEVICE")
  68
  69 default_with_upstream_libcoap = 0
  70
  71 if ARGUMENTS.get('TEST'):
  72     logging_default = False
  73 else:
  74     release_mode = False
  75     if ARGUMENTS.get('RELEASE', True) in ['y', 'yes', 'true', 't', '1', 'on', 'all', True]:
  76         release_mode = True
  77     logging_default = (release_mode == False)
  78
  79 # targets that do not support the DTLS build (SECURED=1 build option)
  80 targets_without_dtls_support = ['arduino'];
  81 if ARGUMENTS.get('SECURED') == '1' and target_os in targets_without_dtls_support:
  82         print "\nError: DTLS not supported on target os: %s MUST build with SECURED=0\n" % (target_os)
  83         Exit(1)
  84
  85 ######################################################################
  86 # Common build options (release, target os, target arch)
  87 ######################################################################
  88 targets_disallow_multitransport = ['arduino']
  89
  90 help_vars = Variables()
  91 help_vars.Add(BoolVariable('VERBOSE', 'Show compilation', False))
  92 help_vars.Add(BoolVariable('RELEASE', 'Build for release?', True)) # set to 'no', 'false' or 0 for debug
  93 help_vars.Add(EnumVariable('TARGET_OS', 'Target platform', host, host_target_map[host]))
  94
  95
  96 help_vars.Add(BoolVariable('WITH_RA', 'Build with Remote Access module', False))
  97 help_vars.Add(BoolVariable('WITH_TCP', 'Build with TCP adapter', False))
  98 help_vars.Add(BoolVariable('WITH_PROXY', 'Build with CoAP-HTTP Proxy', False))
  99 help_vars.Add(ListVariable('WITH_MQ', 'Build with MQ publisher/broker', 'OFF', ['OFF', 'SUB', 'PUB', 'BROKER']))
 100 help_vars.Add(BoolVariable('WITH_CLOUD', 'Build including AccountManager class and Cloud Client sample', False))
 101 help_vars.Add(ListVariable('RD_MODE', 'Resource Directory build mode', 'CLIENT', ['CLIENT', 'SERVER']))
 102
 103 help_vars.Add(BoolVariable('SIMULATOR', 'Build with simulator module', False))
 104
 105 help_vars.Add(BoolVariable('WITH_RA_IBB', 'Build with Remote Access module(workssys)', False))
 106
 107
 108 if target_os in targets_disallow_multitransport:
 109     help_vars.Add(ListVariable('TARGET_TRANSPORT', 'Target transport', 'IP', ['BT', 'BLE', 'IP', 'NFC']))
 110 else:
 111     help_vars.Add(ListVariable('TARGET_TRANSPORT', 'Target transport', 'ALL', ['ALL', 'BT', 'BLE', 'IP', 'NFC']))
 112
 113 help_vars.Add(EnumVariable('TARGET_ARCH', 'Target architecture', default_arch, os_arch_map[target_os]))
 114 # TODO remove darwin from list once IOT-1684 is closed
 115 targets_without_dtls_support.append('darwin')
 116 if target_os in targets_without_dtls_support:
 117     help_vars.Add(EnumVariable('SECURED', 'Build with DTLS', '0', allowed_values=('0', '1')))
 118 else:
 119     help_vars.Add(EnumVariable('SECURED', 'Build with DTLS', '1', allowed_values=('0', '1')))
 120 help_vars.Add(EnumVariable('MULTIPLE_OWNER', 'Enable multiple owner', '0', allowed_values=('0', '1')))
 121 help_vars.Add(EnumVariable('EXC_PROV_SUPPORT', 'Except OCPMAPI library(libocpmapi.so)', '0', allowed_values=('0', '1')))
 122 help_vars.Add(EnumVariable('TEST', 'Run unit tests', '0', allowed_values=('0', '1')))
 123 help_vars.Add(BoolVariable('LOGGING', 'Enable stack logging', logging_default))
 124 help_vars.Add(BoolVariable('UPLOAD', 'Upload binary ? (For Arduino)', require_upload))
 125 help_vars.Add(EnumVariable('ROUTING', 'Enable routing', 'EP', allowed_values=('GW', 'EP')))
 126 help_vars.Add(EnumVariable('BUILD_SAMPLE', 'Build with sample', 'ON', allowed_values=('ON', 'OFF')))
 127 help_vars.AddVariables(('DEVICE_NAME', 'Network display name for device (For Arduino)', device_name, None, None),)
 128 help_vars.Add(PathVariable('ANDROID_NDK', 'Android NDK path', None, PathVariable.PathAccept))
 129 help_vars.Add(PathVariable('ANDROID_HOME', 'Android SDK path', None, PathVariable.PathAccept))
 130 help_vars.Add(PathVariable('ANDROID_GRADLE', 'Gradle binary file', None, PathVariable.PathIsFile))
 131 help_vars.Add(EnumVariable('WITH_UPSTREAM_LIBCOAP', 'Use latest stable version of LibCoAP downloaded from github', default_with_upstream_libcoap, allowed_values=('0','1')))
 132
 133 if target_os == 'windows':
 134         # For VS2013, MSVC_VERSION is '12.0'. For VS2015, MSVC_VERSION is '14.0'.
 135         # Default value is None, meaning that SCons has to choose automatically a VS version.
 136         help_vars.Add(EnumVariable('MSVC_VERSION', 'MSVC compiler version - Windows', None, allowed_values=('12.0', '14.0')))
 137
 138 help_vars.Add(BoolVariable('BUILD_JAVA', 'Build Java bindings', False))
 139 help_vars.Add(PathVariable('JAVA_HOME', 'JDK directory', os.environ.get('JAVA_HOME'), PathVariable.PathAccept))
 140
 141 AddOption('--prefix',
 142                   dest='prefix',
 143                   type='string',
 144                   nargs=1,
 145                   action='store',
 146                   metavar='DIR',
 147                   help='installation prefix')
 148
 149 ######################################################################
 150 # Platform(build target) specific options: SDK/NDK & toolchain
 151 ######################################################################
 152 targets_support_cc = ['linux', 'arduino', 'tizen']
 153
 154 if target_os in targets_support_cc:
 155     # Set cross compile toolchain
 156     help_vars.Add('TC_PREFIX', "Toolchain prefix (Generally only be required for cross-compiling)", os.environ.get('TC_PREFIX'))
 157     help_vars.Add(PathVariable('TC_PATH',
 158             'Toolchain path (Generally only be required for cross-compiling)',
 159             os.environ.get('TC_PATH')))
 160
 161 if target_os in ['android', 'arduino']: # Android/Arduino always uses GNU compiler regardless of the host
 162     env = Environment(variables = help_vars,
 163             tools = ['gnulink', 'gcc', 'g++', 'ar', 'as', 'textfile']
 164             )
 165 else:
 166     env = Environment(variables = help_vars, tools = ['default', 'textfile'],
 167             TARGET_ARCH = target_arch, TARGET_OS = target_os,
 168             PREFIX = GetOption('prefix'),
 169             LIB_INSTALL_DIR = ARGUMENTS.get('LIB_INSTALL_DIR') #for 64bit build
 170             )
 171 Help(help_vars.GenerateHelpText(env))
 172
 173 tc_set_msg = '''
 174 ************************************ Warning **********************************
 175 *   Enviornment variable TC_PREFIX/TC_PATH is set. It will change the default *
 176 * toolchain, if it isn't what you expect you should unset it, otherwise it may*
 177 * cause inexplicable errors.                                                  *
 178 *******************************************************************************
 179 '''
 180 if env.get('VERBOSE') == False:
 181     env['CCCOMSTR'] = "Compiling $TARGET"
 182     env['SHCCCOMSTR'] = "Compiling $TARGET"
 183     env['CXXCOMSTR'] = "Compiling $TARGET"
 184     env['SHCXXCOMSTR'] = "Compiling $TARGET"
 185     env['LINKCOMSTR'] = "Linking $TARGET"
 186     env['SHLINKCOMSTR'] = "Linking $TARGET"
 187     env['ARCOMSTR'] = "Archiving $TARGET"
 188     env['RANLIBCOMSTR'] = "Indexing Archive $TARGET"
 189
 190 if target_os in targets_support_cc:
 191     prefix = env.get('TC_PREFIX')
 192     tc_path = env.get('TC_PATH')
 193     if prefix:
 194         env.Replace(CC = prefix + env.get('CC', 'gcc'))
 195         env.Replace(CXX = prefix + env.get('CXX', 'g++'))
 196         env.Replace(AR = prefix + env.get('AR', 'ar'))
 197         env.Replace(AS = prefix + env.get('AS', 'as'))
 198         env.Replace(RANLIB = prefix + env.get('RANLIB', 'ranlib'))
 199
 200     if tc_path:
 201         env.PrependENVPath('PATH', tc_path)
 202         sys_root = os.path.abspath(tc_path + '/../')
 203         env.AppendUnique(CCFLAGS = ['--sysroot=' + sys_root])
 204         env.AppendUnique(LINKFLAGS = ['--sysroot=' + sys_root])
 205
 206     if prefix or tc_path:
 207         print tc_set_msg
 208
 209 # Import env variables only if reproductibility is ensured
 210 if target_os in ['yocto']:
 211     env['CONFIG_ENVIRONMENT_IMPORT'] = True
 212 else:
 213     env['CONFIG_ENVIRONMENT_IMPORT'] = False
 214
 215 if env['CONFIG_ENVIRONMENT_IMPORT'] == True:
 216     print "warning: importing some environment variables for OS: %s" % target_os
 217     for ev in ['PATH', 'PKG_CONFIG', 'PKG_CONFIG_PATH', 'PKG_CONFIG_SYSROOT_DIR']:
 218         if os.environ.get(ev) != None:
 219             env['ENV'][ev] = os.environ.get(ev)
 220     if os.environ['LDFLAGS'] != None:
 221         env.AppendUnique(LINKFLAGS = Split(os.environ['LDFLAGS']))
 222
 223 # Ensure scons be able to change its working directory
 224 env.SConscriptChdir(1)
 225
 226 # Set the source directory and build directory
 227 #   Source directory: 'dir'
 228 #   Build directory: 'dir'/out/<target_os>/<target_arch>/<release or debug>/
 229 #
 230 # You can get the directory as following:
 231 #   env.get('SRC_DIR')
 232 #   env.get('BUILD_DIR')
 233
 234 def __set_dir(env, dir):
 235     if not os.path.exists(dir + '/SConstruct'):
 236         print '''
 237 *************************************** Error *********************************
 238 * The directory(%s) seems isn't a source code directory, no SConstruct file is
 239 * found. *
 240 *******************************************************************************
 241 ''' % dir
 242         Exit(1)
 243
 244     if env.get('RELEASE'):
 245         build_dir = dir + '/out/' + target_os + '/' + target_arch + '/release/'
 246     else:
 247         build_dir = dir + '/out/' + target_os + '/' + target_arch + '/debug/'
 248     env.VariantDir(build_dir, dir, duplicate=0)
 249
 250     env.Replace(BUILD_DIR = build_dir)
 251     env.Replace(SRC_DIR = dir)
 252
 253 def __src_to_obj(env, src, home = ''):
 254     obj = env.get('BUILD_DIR') + src.replace(home, '')
 255     if env.get('OBJSUFFIX'):
 256         obj += env.get('OBJSUFFIX')
 257     return env.Object(obj, src)
 258
 259 def __install(ienv, targets, name):
 260     i_n = ienv.Install(env.get('BUILD_DIR'), targets)
 261     Alias(name, i_n)
 262     env.AppendUnique(TS = [name])
 263
 264 def __installlib(ienv, targets, name):
 265     user_prefix = env.get('PREFIX')
 266     if user_prefix:
 267         user_lib = env.get('LIB_INSTALL_DIR')
 268         if user_lib:
 269             i_n = ienv.Install(user_lib, targets)
 270         else:
 271             i_n = ienv.Install(user_prefix + '/lib', targets)
 272         ienv.Alias("install", i_n)
 273     else:
 274         i_n = ienv.Install(env.get('BUILD_DIR'), targets)
 275     ienv.Alias("install", i_n)
 276
 277 def __installbin(ienv, targets, name):
 278     user_prefix = env.get('PREFIX')
 279     if user_prefix:
 280         i_n = ienv.Install(user_prefix + '/bin', targets)
 281         ienv.Alias("install", i_n)
 282
 283 def __installheader(ienv, targets, dir, name):
 284     user_prefix = env.get('PREFIX')
 285     if user_prefix:
 286         i_n = ienv.Install(user_prefix + '/include/' + dir ,targets)
 287     else:
 288         i_n = ienv.Install(os.path.join(env.get('BUILD_DIR'), 'include', dir), targets)
 289     ienv.Alias("install", i_n)
 290
 291 def __installpcfile(ienv, targets, name):
 292     user_prefix = env.get('PREFIX')
 293     if user_prefix:
 294         user_lib = env.get('LIB_INSTALL_DIR')
 295         if user_lib:
 296             i_n = ienv.Install(user_lib + '/pkgconfig', targets)
 297         else:
 298             i_n = ienv.Install(user_prefix + '/lib/pkgconfig', targets)
 299     else:
 300         i_n = ienv.Install(env.get('BUILD_DIR') + 'lib/pkgconfig', targets)
 301     ienv.Alias("install", i_n)
 302
 303 def __append_target(ienv, name, targets = None):
 304     if targets:
 305         env.Alias(name, targets)
 306     env.AppendUnique(TS = [name])
 307
 308 def __print_targets(env):
 309     Help('''
 310 ===============================================================================
 311 Targets:\n    ''')
 312     for t in env.get('TS'):
 313         Help(t + ' ')
 314     Help('''
 315 \nDefault all targets will be built. You can specify the target to build:
 316
 317     $ scons [options] [target]
 318 ===============================================================================
 319 ''')
 320
 321 env.AddMethod(__set_dir, 'SetDir')
 322 env.AddMethod(__print_targets, 'PrintTargets')
 323 env.AddMethod(__src_to_obj, 'SrcToObj')
 324 env.AddMethod(__append_target, 'AppendTarget')
 325 env.AddMethod(__install, 'InstallTarget')
 326 env.AddMethod(__installlib, 'UserInstallTargetLib')
 327 env.AddMethod(__installbin, 'UserInstallTargetBin')
 328 env.AddMethod(__installheader, 'UserInstallTargetHeader')
 329 env.AddMethod(__installpcfile, 'UserInstallTargetPCFile')
 330 env.SetDir(env.GetLaunchDir())
 331 env['ROOT_DIR']=env.GetLaunchDir()+'/..'
 332
 333 Export('env')
 334
 335 ######################################################################
 336 # Scons to generate the iotivity.pc file from iotivity.pc.in file
 337 ######################################################################
 338 pc_file = env.get('SRC_DIR') + '/iotivity.pc.in'
 339
 340 user_prefix = env.get('PREFIX')
 341 user_lib = env.get('LIB_INSTALL_DIR')
 342
 343 if not user_prefix:
 344     user_prefix = env.get('BUILD_DIR').encode('string_escape')
 345
 346 if not user_lib:
 347     user_lib = '$${prefix}/lib'
 348
 349 defines = []
 350 if env.get('LOGGING'):
 351     defines.append('-DTB_LOG=1')
 352
 353 if env.get('ROUTING') == 'GW':
 354     defines.append('-DROUTING_GATEWAY=1')
 355 elif env.get('ROUTING') == 'EP':
 356     defines.append('-DROUTING_EP=1')
 357
 358 libs = []
 359 if env.get('WITH_TCP'):
 360     defines.append('-DTCP_ADAPTER=1')
 361     if env.get('SECURED') == '1':
 362         defines.append('-D__WITH_TLS__=1')
 363
 364 if env.get('SECURED') == '1':
 365     defines.append('-D_WITH_DTLS_=1')
 366     if not env.get('EXC_PROV_SUPPORT'):
 367         libs.append('-locpmapi')
 368
 369 pc_vars = {
 370     '\@VERSION\@': project_version,
 371     '\@PREFIX\@': user_prefix,
 372     '\@EXEC_PREFIX\@': user_prefix,
 373     '\@LIB_INSTALL_DIR\@': user_lib,
 374     '\@DEFINES\@': " ".join(defines),
 375     '\@LIBS\@': " ".join(libs)
 376 }
 377
 378 env.Substfile(pc_file, SUBST_DICT = pc_vars)
 379
 380 ######################################################################
 381 # Link scons to Yocto cross-toolchain ONLY when target_os is yocto
 382 ######################################################################
 383 if target_os == "yocto":
 384     '''
 385     This code injects Yocto cross-compilation tools+flags into scons'
 386     build environment in order to invoke the relevant tools while
 387     performing a build.
 388     '''
 389     import os.path
 390     try:
 391         CC = os.environ['CC']
 392         target_prefix = CC.split()[0]
 393         target_prefix = target_prefix[:len(target_prefix)-3]
 394         tools = {"CC" : target_prefix+"gcc",
 395                 "CXX" : target_prefix+"g++",
 396                 "AS" : target_prefix+"as",
 397                 "LD" : target_prefix+"ld",
 398                 "GDB" : target_prefix+"gdb",
 399                 "STRIP" : target_prefix+"strip",
 400                 "RANLIB" : target_prefix+"ranlib",
 401                 "OBJCOPY" : target_prefix+"objcopy",
 402                 "OBJDUMP" : target_prefix+"objdump",
 403                 "AR" : target_prefix+"ar",
 404                 "NM" : target_prefix+"nm",
 405                 "M4" : "m4",
 406                 "STRINGS": target_prefix+"strings"}
 407         PATH = os.environ['PATH'].split(os.pathsep)
 408         for tool in tools:
 409             if tool in os.environ:
 410                 for path in PATH:
 411                     if os.path.isfile(os.path.join(path, tools[tool])):
 412                         env[tool] = os.path.join(path, os.environ[tool])
 413                         break
 414         env['CROSS_COMPILE'] = target_prefix[:len(target_prefix) - 1]
 415     except:
 416         print "ERROR in Yocto cross-toolchain environment"
 417         Exit(1)
 418     '''
 419     Now reset TARGET_OS to linux so that all linux specific build configurations
 420     hereupon apply for the entirety of the build process.
 421     '''
 422     env['TARGET_OS'] = 'linux'
 423     '''
 424     We want to preserve debug symbols to allow BitBake to generate both DEBUG and
 425     RELEASE packages for OIC.
 426     '''
 427     env.AppendUnique(CCFLAGS = ['-g'])
 428     '''
 429     Additional flags to pass to the Yocto toolchain.
 430     '''
 431     if env.get('RELEASE'):
 432         env.AppendUnique(CPPDEFINES = ['NDEBUG'])
 433     if env.get('LOGGING'):
 434         env.AppendUnique(CPPDEFINES = ['TB_LOG'])
 435     env.AppendUnique(CPPDEFINES = ['WITH_POSIX', '__linux__', '_GNU_SOURCE'])
 436     env.AppendUnique(CFLAGS = ['-std=gnu99'])
 437     env.AppendUnique(CCFLAGS = ['-Wall', '-Wextra', '-fPIC'])
 438     env.AppendUnique(LIBS = ['dl', 'pthread', 'uuid'])
 439     Export('env')
 440 else:
 441     '''
 442     If target_os is not Yocto, continue with the regular build process
 443     '''
 444     # Load config of target os
 445     env.SConscript(target_os + '/SConscript')
 446
 447 # Delete the temp files of configuration
 448 if env.GetOption('clean'):
 449     dir = env.get('SRC_DIR')
 450
 451     if os.path.exists(dir + '/config.log'):
 452         Execute(Delete(dir + '/config.log'))
 453     if os.path.exists(dir + '/.sconsign.dblite'):
 454         Execute(Delete(dir + '/.sconsign.dblite'))
 455     if os.path.exists(dir + '/.sconf_temp'):
 456         Execute(Delete(dir + '/.sconf_temp'))
 457
 458 ######################################################################
 459 # Check for PThreads support
 460 ######################################################################
 461 import iotivityconfig
 462 from iotivityconfig import *
 463
 464 conf = Configure(env,
 465         custom_tests =
 466         {
 467             'CheckPThreadsSupport' : iotivityconfig.check_pthreads
 468         } )
 469
 470 # Identify whether we have pthreads support, which is necessary for
 471 # threading and mutexes.  This will set the environment variable
 472 # POSIX_SUPPORTED, 1 if it is supported, 0 otherwise
 473 conf.CheckPThreadsSupport()
 474
 475 env = conf.Finish()
 476 ######################################################################
 477
 478 env.SConscript('external_libs.scons')
 479 Return('env')