Add log for profile data when the app runs

Change-Id: Id3f6eb5559ea5c6da4efecc43315df8f1897a296

Fixed TAC_TC

Change-Id: Id626c06a649c7903559cf8bbf43a8248f8bd148f

Add log when profile data is successfully loaded in candidate process

Change-Id: Ibceb2b5f8fb7dd0aa8b31b79759f22b98dbbb4f8

Change the published value of metadata

Change-Id: Ie0a17da992a647afa642c7a6c0b58c708c8d1010

Fixed build warning

Change-Id: Iafff976b1ad4fa3556260f0709058a7fe573ffeb

[WIP] Profile data generation tools to use in candidate process

Change-Id: If92eaf2089233d65e137cd8c8b8c59f120541de1

Add the option to check Internet privilege in dotnettool for the FOTA

Change-Id: I74604e5145519db06f8a0b6f8bd57ba69707c190

Add NCDB startup hook support.

Upgrade the nuget(Newtonsoft.Json) version of TC (#422)

Change-Id: I9234a89f05489a771f3ea50242d750e71d652951

[WIP] Set the MCJ in the candidate process

Change-Id: I95438e3a8ee4a4bbe5e538dc5add317d543a26f0

link profile_common library to apptype_plugin (#421)

To avoid symbol lookup error, link libprofile_common.so to libapptype_plugin.so

Separate the code related to the profile data into a profile_common file

Change-Id: I6c62e7a26f502651333458473202b6d438f46261

Change --ni-dir option operation

if the --inputbubble option and --ni-dir option used together, all input directories must be processed as one bubble.
For this requirements, change implementation of --ni-dir option.

Renew InputBubble Option (#416)

When the native image compiled with the --inputbubble option is executed, all assemblies included in the same bubble must be compiled too.
Previous --ni-dll or --no-pipeline option can lead misusage of --inputbubble option.
For example, if the below command are executed, system libraries are compiled one by one.

$ dotnettool --inputbubble --no-pipeline --ni-dir /usr/share/dotnet.tizen/netcoreapp

In this case, a problem may occur because crossgen2 is executed with compiled native images with --inputbubble and the non-compiled assemblies

In order to prevent errors caused by such misuse, the following modifications were made.
1. When using no-pipeline mode, it was temporarily created as ni.dll.tmp and then changed to ni.dll in the last step of dotnettool.
2. if --inputbubbleref option is not set, only input file(s) of dotnettool is added to bubble

Additionally, for fine tunning, --ref and --inputbubbleref option get file path(s) ot directory path(s)

Change update size for PBA (#419)

When using PBA, file size was used to calculate next base address of assembly.
However, there is a problem that the file size is smaller than the image size loaded in the actual memory.
when native image files are loaded in the memory area, some native image files cannot be loaded where desired because of area overlapping.

So, get size of image from OptionalHeader, and use that value for updating next base address.

Avoid calling storage API

The storage API is used to get direcoty of SpecialFolder
In special case (like target booting up time), some delay can occur inside the API.

So, to avoid that kind of delay, set SpecialFolder with environment variable if that is set.

Change the optimization options for crossgen2 (#409)

Change-Id: Ic9588655352bc3e439e5432455e4a433d5c0ec19

Set base address at native image (#400)

--imagebase option is added to set base address at native imaage to avoid relocatoin.

Note! this feature is enabled --no-pipeline mode only

Set collect delay when profile data does not exist

Add assembly to preload list in candidate process

Change-Id: I7274a7cea59e208c66c02ea8761faec78e6223e2

Add additional environment for invariant mode

.NET 6 contains breaking change related to globalization invariant mode.
(https://docs.microsoft.com/en-us/dotnet/core/compatibility/globalization/6.0/culture-creation-invariant-mode)
For backward compatibility, add an additional environment variable to avoid breaking changes
- DOTNET_SYSTEM_GLOBALIZATION_PREDEFINED_CULTURES_ONLY=false

Fix mibc option for crossgen2 (#401)

`--ibc-dir $(directory path)` to `--mibc $(file path)`

Co-authored-by: 조웅석/Common Platform Lab(SR)/삼성전자 <ws77.cho@samsung.com>

Add --skip-ro-app option

The "--ni-regen-all-app" option performs AOTC again for all installed apps.
If the "--ni-regen-all-app" option is performed after FOTA (OTN),
an error may occur or unnecessary AOTC may be performed by running AOTC for an app installed in the RO area.

To avoid this situation, the "--skip-ro-app" option is added.
If this option is set, native image regenration for apps installed in the RO area is skipped.

Note! this option works with "--ni-regen-all-app" option only.

Add `metadata-profile.xml`

Add the NI_FLAGS_EXTRA_REF flag used to create ni for app_pkg (#393)

Change-Id: Iab85217a9a97341a99c5e2e6f6521648ddade074

Bug-fix: fix path for pdb file copying (#392)

Remove ICULoadDisable support from platform image. (#391)

Fix app ni path for readonly app (#389)

There was a bug in setting the app ni path when RO installed app was updated.
To fix this bug, check root path whether read-only area or not.

Co-authored-by: Woongsuk Cho <ws77.cho@samsung.com>

Check the SPC before creating a native image for the app

Change-Id: I14ac5775cb5b58df00fec96134d6c3f75474d3fc

Apply ICULoadDisable option (#386)

Apply ICULoadDisable option for apps that run during cold boot

Co-authored-by: 김종민/S/W Platform Lab(VD)/Engineer/삼성전자 <jong-min.kim@samsung.com>

print HW clock log (#385)

Forked process in pipeline state can be terminated while crossgen2 is running

Change-Id: Ib3a1851a7f43fedd270519c6389482c6ca9568a5

Fix app's native image existence checking code. (#376)

The directory ".native_image" was not considered for app's native image existence cheching.

Remove code that create SPC NI first (#373)

* Add isR2RImage insteadof ildasm

Use internal API to reduce unnecessary fork

* Remove code that create SPC NI first.

crossgen2 can do AOTC without SPC native image.
So, remove unnecessary code.

inputbubbleref option should be used with inputbubble option (#377)

Change-Id: I4bb3a5063b8dcbfbd06ce3fbc3ae333aac9e13d3

Update fota script for MCJ/BTP (#380)

After update fota, app's profile data should be removed.

[TC Fix/Add] dotnettool option(inputbubble, inputbubbleref, ref, print-cmd, no-pipeline) test in TOOL (#378)

Change-Id: I8c8d1305ecbc96ec19bc5e1f47e11806b2526afb

[TC Fixed] Even without SPC.ni.dll, the application generates native image (#379)

Change-Id: I062ac6e2c57a7fc9faf45c3bc8e1315e377f9e7e

Remove lchmod related code (#375)

In the linux system, permission of symlink file is meaningless.
(Also, lchmod alwasy returns -1 because it is not implemented.)

To remove unnecessary error message while installing application,
remove lchmod related code.

Add code to close open file stream (#374)

Change-Id: Ibd6ecd18c5d6ec44211aa69914e93f43699fc1fd

Enable MCJ & BTJ by loader script

Add new 'symbolicate' commands to dotnet-stack of diagnostics

Change-Id: Ibc1ee9dae02eb7b1321e6970516285dd5ca5300d

Add switch to disable IPv6

Due to DualMode, smack deny occurs as ipv4 mapped address is used
for communication between daemon and apps using localhost if internet privilege doesnot exist.

In order to handle the ipv4 mapped loopback in smack, it is necessary to modify the kernel side,
but we cannot know when the patch will be applied.
Also, it is not possible to disable all IPv6 for just solving this issue.

So, set switch to disable ipv6 only when there is no internet privilege.
If there is internet privilege, all works normally in dual mode,
And if there is no internet privilege, ipv6 will be diabled so that local communication can be same as before.

[TC Added] dotnettool option(--inputbubble, --print-cmd) test in TOOL

Change-Id: I2e5b9ac79bae205b5fd430677d4c42b021d61a25

Update Unit TC for support crossgen2

Avoid OOM while compiling system libraries

If run AOTC the system library at once, it will be terminated by the OOM killer.
To avoid this, run AOTC separately (netcoreapp and framework).

Modify 10.Dotnet.Launcher.preload file

Change-Id: I6c7a3d8b1789547a3231e4f97d8249f7dd8695eb

Disable IPv6 to solve DualMode issue

Due to Socket DualMode, IPv4 is converted to IPv6 socket.
So, smack deny error occurs when accessing to localhost during TCT.
It is a temporary patch that will be used until the IPv6 smack problem is fixed .

Remove unused old ibcdata (#361)

Change-Id: I563bd1ade521dfb1ee6fb3d6befdac0a6130a85f

Add null check to solve svace issue (#362)

Add environment for mic_crossgen2 (#360)

Change-Id: I996125b985c3a1383fd3c39eded96729eed9db91

Add plugin API for setting extra dll path (#353)

There is a requirement to add a searching path for a specific app.
For this requirement, a new plugin API is added to get the extra searching path.

Add options to support crossgen2 (#351)

* remove code and options for crossgen1

* clean-up code related to pre-generating native image of System.Private.CoreLib.dll

* use NIOption structure to pass option instead of flags

* support --mibc option

* add --print-cmd option

* add --ref to set reference path

* update TC for crossgen2

* check directory existance

* check dll existance for platform assembly path

* add null check for NIOption

* Create SPC native image preferentially

* Fixed option parsing of dotnettool

Resolve option parshing error by using strncmp() function.

Fixed build error (#359)

Change-Id: I3b4fc97e57e2c20436e5866f3188b2c241d4eb72

Fix build error in r2r_checker on 64 bit (#358)

BIT64(for coreclr 3.1.3) and HOST_64BIT(for .NET6) should be defined for ULONG_PTR on 64 bit.

change dll/so searching path for app (#356)

Change the path "/proc/self/fd/bin" used to find dll/so for the candidate process to "/proc/[pid]/fd/bin"
When debugging, the library loaded in the location of "/proc/self/fd/bin" cannot be accessed by the debugger, so symbol loading fails.
To avoid this failure, change finding path to "/proc/[pid]/fd/bin".

Fixed build error in r2r_checker (#357)

Change-Id: Ib79facf6ff87e8c6edc17d1acc300c1775236bb7

Add r2r checker (#355)

* Add r2r checker

Implement a function to Identify a file is R2R image or not.
```isR2RImage(std::stringfileName)```

* Add missed endian conversion

* Add some error print codes

* Update error logs and a function name

* Update checked based on CLR headers

Co-authored-by: Dong-Heon Jung <clamp03@gmail.com>

Add chmod to change the permission of the file

Change-Id: I56efe62379496138d2d197d24e8b061f8ea2f91a

use corerun for crossgen2

Modified to support crossgen2 (#330)

* support crossgen2

add --crossgen2 and --inputbubble option
By vconf setting, crossgen2 can be used from prefer_dotnet_aot_plugin.

* support crossgen2

add --crossgen2 and --inputbubble option
By vconf setting, crossgen2 can be used from prefer_dotnet_aot_plugin.

 Disable config cache to set environment (#350)

To set environment after coreclr_initialize, disable config cache

Add SetSwitch API to Tizen.Runtime

MS decided not to show ILOffset info as default in exception info.
To enable that feature, "Switch.System.Diagnostics.StackTrace.ShowILOffsets" switch should be set true.

An internal API for setting app context switch in dotnet-launcher has been added.
And, "Switch.System.Diagnostics.StackTrace.ShowILOffsets" is enabled defaultly.

remove app profile data when app is updated

- change implementation to remove profile data for all UIDs
- remove app profile data when app is updated
- add "--rm-all-app-profile" option to dotnettool
- change plugin name from delete_unsed_library_plugin to dotnet_apptype_plugin

Add a function to stop profiling after period

CLR environment "MultiCoreJitProfileWriteDelay" doesnot work on Linux.

In some specific cases, application is terminated without calling coreclr_shutdown() function.
As a result, MCJ profiling data is not written.
Added a function to generate profiling data after delay so that MCJ can be used even in this case.

It works by adding delay to the environment variable as follows:
 - CLR_MCJ_PROFILE_WRITE_DELAY={delay}
(The unit of delay is second)

If you want to stop profiling after 10 seconds, add environment variable like below:
 - CLR_MCJ_PROFILE_WRITE_DELAY=10

Fix build warning. Replace strncpy with memcpy

Change-Id: Ic9f239132fd1a2793176cd85ba00b8c553bd056a

Skip app ni regeneration if app ni already exist (#344)

To avoid multiple NI file generation for --ni-pkg, skip app ni regeneration if app ni already exist

Add plugin api to add native dll searching path (#343)

There are some cases to add dll and native library searching path through plugin API.
The adding dll searching path was already supported, but the adding native library searching part is missing, so this part is added.

The added searching path by plugin has the highest priority. (VD requirement)

Additionally, an environment for building simple libdotnet_plugin.so for testing was also added.

Update MulticoreJit setup: disable profile gathering if profile already exists

Upgrade 'launcher' version(6.0.0) in spec

Change-Id: I7a1257423fe308bc8c28e18d6fb25d79c87e92ef

Expand array size for null terminate character

To avoid svace defect, expand array size.
And copy string include null terminate character

Fix for svace issue

- change strcpy/strcat to strncpy/strncat
- use remove function insteadof system() call

Added missing exception handling for boost_filesystem

Change-Id: Ief5956ffa9683c5f4047f3abfcb0ba44513c401b

Add new TFM name scheme(net{dotnetVersion}-tizen{platformVersion})

Change-Id: I66b0204e7685ba1dae4bb0870d6f173de1ef7990

Remove --ni-ro-pkg / --ni-regen-all-ro-app options

When creating a target image or developing platform, "/usr/apps" which is the RO area, is mounted as RW.
In this case, if we perform AOTC for apps installed under /usr/apps,
NI files should be created under /usr/apps/, not "/opt/usr/dotnet".

So, combine options into one, and create NI files under /opt/usr/dotnet only if package directory is mounted as RO.

Update MulticoreJit setup

- COMPlus_MultiCoreJitNoProfileGather is not needed, because it gives no effect on updated MulticoreJit
- COMPlus_MultiCoreJitMinNumCpus is needed to enable MulticoreJit on arm with cpu hotplug

dotnettool: Add --rm-app-profile <app_id> option

Signed-off-by: Timur <t.mustafin@partner.samsung.com>

Collect/use multicorejit app profile

Turn off --profile mode for default build

Signed-off-by: Timur Mustafin <t.mustafin@partner.samsung.com>

change fprintf to _SERR and _SOUT

Change the extension of a path or file

Change-Id: I2b0f5d2c00d2f84b5e2af25102ba50d29b7bee74

Fixed typo in launcher_TC

Change-Id: Ic44ca7c3af9ab5503809127c7c6501086806c293

Remove log_manager (dlog redirects stdout and stderr by itself)

[Tool] Added option to directly enter the log string

Change-Id: I7d73d17dfd7eb283675d639b7079e5d685d86196

Add line number to extractor tool

Change-Id: I5da17e91d8d5bc59a5e59e5385ae413ef93ac178

Add dotnet-stack tool

Change-Id: I38574798f50bbe1a288d55fe9a04ff203a1f1c97

[TC Fixed] Added 'NONE' value to test result (#319)

Change-Id: Id8cf0dac0e413c571dacf7daadede10dae78d886

Co-authored-by: 조웅석/Common Platform Lab(SR)/Principal Engineer/삼성전자 <ws77.cho@samsung.com>

[TC Fixed] Modify the log when the tc fails

Change-Id: I0a3a663e7d3865a92468509f842af400e4dbb941

[TC Fixed] Delete the .tpk file used for the test

Change-Id: I9ff999bb3b21b702f7bfcb1179cab73074e3850c

Add null check in preload

Change-Id: I51fa05c104c40d3a539ed07ff87912857ea3d4f8

[TC Fixed] Changed the key value to get device type (#317)

Change-Id: I2ea128f2bd9608cdfe221597bab8960a1c4b3f8f

[TC Added] dotnettool option(--ni-ro-pkg) test in TOOL

Change-Id: Id0f2dfe654e54c5d8f726d0485db594ecc1b3af3

Apply ownership to the newly created tac folder

Change-Id: Icf9c8ff08fb98a55c6ce6eaef5438896450d48c4

Add '--ni-ro-pkg' option to dotnettool

Change-Id: I0eea9ca9ef583374d9c8195360a6add733c7581d

[TC Fixed] Exclude TC not supported by specific platform

Change-Id: I845ebe415eec352e899732751e43012149ad1e26

[TC Fixed] XSF.dll does not exist in specific target(RPI)

Change-Id: Idadafa7619d58986696b0e057d62c81d1d84013d

[TC Fixed] Change the logical operator of the if statement

Change-Id: Ibfea439c2c72e9783ef4bb6ebb46aed2adbad557

[TC Added] dotnettool option(--ni-regen-all-ro-app) test in TOOL

Change-Id: Ibad71585e1fdabada656ccaac8630bd33d77af3e

[TC Fixed] Change the 'find' command

Change-Id: I2e5dee3f79ef4ba012ed741057f004b4319c8a57

[TC Fixed] Modify clean method in LAUNCH test

Change-Id: Ia1d1e9bf906903af35d97c92f35b1b6ff70439ae

[TC Added] dotnettool option(--ibc-dir) test in TOOL

Change-Id: I0e4c4f72bc5f33492b929869109133e7cacf9492