generate native image files in the .native_image folder for the pkg aot.
[platform/core/dotnet/launcher.git] / NativeLauncher / installer-plugin / ni_common.cc
1 /*
2  * Copyright (c) 2016 Samsung Electronics Co., Ltd All Rights Reserved
3  *
4  * Licensed under the Apache License, Version 2.0 (the License);
5  * you may not use this file except in compliance with the License.
6  * You may obtain a copy of the License at
7  *
8  * http://www.apache.org/licenses/LICENSE-2.0
9  *
10  * Unless required by applicable law or agreed to in writing, software
11  * distributed under the License is distributed on an AS IS BASIS,
12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
13  * See the License for the specific language governing permissions and
14  * limitations under the License.
15  */
16
17 #include <pkgmgr-info.h>
18 #include <pkgmgr_installer_info.h>
19 #include <aul.h>
20
21 #include "log.h"
22 #include "utils.h"
23 #include "pkgmgr_parser_plugin_interface.h"
24
25 #include <wait.h>
26 #include <dirent.h>
27 #include <sys/stat.h>
28
29 #include <algorithm>
30 #include <string>
31
32 #include <pwd.h>
33 #include <grp.h>
34 #include <sys/stat.h>
35 #include <unistd.h>
36 #include <string.h>
37
38 #include <fstream>
39 #include <sys/smack.h>
40
41 #include "ni_common.h"
42 #include "path_manager.h"
43 #include "plugin_manager.h"
44
45 #ifdef  LOG_TAG
46 #undef  LOG_TAG
47 #endif
48 #define LOG_TAG "NETCORE_INSTALLER_PLUGIN"
49
50 #ifndef CROSSGEN_PATH
51 #error "CROSSGEN_PATH is missed"
52 #endif
53
54 #define __XSTR(x) #x
55 #define __STR(x) __XSTR(x)
56 static const char* __CROSSGEN_PATH = __STR(CROSSGEN_PATH);
57 #undef __STR
58 #undef __XSTR
59
60 static int __interval = 0;
61 static std::string __tpa;
62
63 static void waitInterval()
64 {
65         // by the recommand, ignore small value for performance.
66         if (__interval > 10000) {
67                 fprintf(stderr, "sleep %d usec\n", __interval);
68                 usleep(__interval);
69         }
70 }
71
72 static void updateNiFileInfo(const std::string& dllPath, const std::string& niPath)
73 {
74         char* label = NULL;
75
76         // change smack label
77         if (smack_getlabel(dllPath.c_str(), &label, SMACK_LABEL_ACCESS) == 0) {
78                 if (smack_setlabel(niPath.c_str(), label, SMACK_LABEL_ACCESS) < 0) {
79                         fprintf(stderr, "Fail to set smack label\n");
80                 }
81                 free(label);
82         }
83
84         // change owner and groups for generated ni file.
85         struct stat info;
86         if (!stat(dllPath.c_str(), &info)) {
87                 if (chown(niPath.c_str(), info.st_uid, info.st_gid) == -1)
88                         fprintf(stderr, "Failed to change owner and group name\n");
89         }
90 }
91
92 static std::string getNiFilePath(const std::string& dllPath)
93 {
94         size_t index = dllPath.find_last_of(".");
95         if (index == std::string::npos) {
96                 fprintf(stderr, "File doesnot contain extension. fail to get NI file name\n");
97                 return "";
98         }
99         std::string fName = dllPath.substr(0, index);
100         std::string fExt = dllPath.substr(index, dllPath.length());
101
102         // crossgen generate file with lower case extension only
103         std::transform(fExt.begin(), fExt.end(), fExt.begin(), ::tolower);
104         std::string niPath = fName + ".ni" + fExt;
105
106         return niPath;
107 }
108
109 static std::string getAppNIPath(const std::string& niPath)
110 {
111         size_t index = niPath.find_last_of("/");
112         if (index == std::string::npos) {
113                 fprintf(stderr, "dllPath doesnot contains path info\n");
114                 return "";
115         }
116
117         std::string prevPath = niPath.substr(0, index);
118         std::string fileName = niPath.substr(index, niPath.length());
119         std::string niDirPath = prevPath + APP_NI_SUB_DIR;
120
121         if (!isFileExist(niDirPath)) {
122                 if (mkdir(niDirPath.c_str(), 0755) == 0) {
123                         updateNiFileInfo(prevPath, niDirPath);
124                 } else {
125                         fprintf(stderr, "Fail to create app ni directory (%s)\n", niDirPath.c_str());
126                 }
127         }
128
129         return niDirPath + fileName;
130 }
131
132 static bool niExist(const std::string& path)
133 {
134         std::string f = getNiFilePath(path);
135         if (f.empty()) {
136                 return false;
137         }
138
139         if (isFileExist(f)) {
140                 return true;
141         }
142
143         // native image of System.Private.CoreLib.dll should have to overwrite
144         // original file to support new coreclr
145         if (path.find("System.Private.CoreLib.dll") != std::string::npos) {
146                 std::string coreLibBackup = path + ".Backup";
147                 if (isFileExist(coreLibBackup)) {
148                         return true;
149                 }
150         }
151
152         return false;
153 }
154
155 static int crossgen(const std::string& dllPath, const std::string& appPath, bool enableR2R, bool isAppNI = false)
156 {
157         if (!isFileExist(dllPath)) {
158                 fprintf(stderr, "dll file is not exist : %s\n", dllPath.c_str());
159                 return -1;
160         }
161
162         if (!isManagedAssembly(dllPath)) {
163                 fprintf(stderr, "Input file is not a dll file : %s\n", dllPath.c_str());
164                 return -1;
165         }
166
167         if (niExist(dllPath)) {
168                 fprintf(stderr, "Already ni file is exist for %s\n", dllPath.c_str());
169                 return -1;
170         }
171
172         std::string absDllPath = absolutePath(dllPath);
173         std::string absNiPath = getNiFilePath(dllPath);
174         if (absNiPath.empty()) {
175                 fprintf(stderr, "Fail to get ni file name\n");
176                 return -1;
177         }
178
179         if (isAppNI) {
180                 absNiPath = getAppNIPath(absNiPath);
181         }
182
183         pid_t pid = fork();
184         if (pid == -1)
185                 return -1;
186
187         if (pid > 0) {
188                 int status;
189                 waitpid(pid, &status, 0);
190                 if (WIFEXITED(status)) {
191                         // Do not use niExist() function to check whether ni file created or not.
192                         // niEixst() return false for System.Private.Corelib.dll
193                         if (isFileExist(absNiPath)) {
194                                 updateNiFileInfo(absDllPath, absNiPath);
195                                 return 0;
196                         } else {
197                                 fprintf(stderr, "Fail to create native image for %s\n", dllPath.c_str());
198                                 return -1;
199                         }
200                 }
201         } else {
202                 std::string jitPath = getRuntimeDir() + "/libclrjit.so";
203                 std::vector<const char*> argv = {
204                         __CROSSGEN_PATH,
205                         "/nologo",
206                         "/Trusted_Platform_Assemblies", __tpa.c_str(),
207                         "/JITPath", jitPath.c_str()
208                 };
209
210                 if (!enableR2R) {
211                         argv.push_back("/FragileNonVersionable");
212                 }
213
214                 argv.push_back("/App_Paths");
215                 std::string absAppPath;
216                 if (!appPath.empty()) {
217                         absAppPath = appPath;
218                 } else {
219                         absAppPath = baseName(absDllPath);
220                 }
221                 argv.push_back(absAppPath.c_str());
222
223                 argv.push_back("/out");
224                 argv.push_back(absNiPath.c_str());
225
226                 argv.push_back(absDllPath.c_str());
227                 argv.push_back(nullptr);
228
229                 fprintf(stderr, "+ %s (%s)\n", absDllPath.c_str(), enableR2R ? "R2R" : "FNV");
230
231                 execv(__CROSSGEN_PATH, const_cast<char* const*>(argv.data()));
232                 exit(0);
233         }
234
235         return 0;
236 }
237
238 static int getRootPath(std::string pkgId, std::string& rootPath)
239 {
240         int ret = 0;
241         char *path = 0;
242
243         uid_t uid = 0;
244
245         if (pkgmgr_installer_info_get_target_uid(&uid) < 0) {
246                 _ERR("Failed to get UID");
247                 return -1;
248         }
249
250         pkgmgrinfo_pkginfo_h handle;
251         if (uid == 0) {
252                 ret = pkgmgrinfo_pkginfo_get_pkginfo(pkgId.c_str(), &handle);
253                 if (ret != PMINFO_R_OK)
254                         return -1;
255         } else {
256                 ret = pkgmgrinfo_pkginfo_get_usr_pkginfo(pkgId.c_str(), uid, &handle);
257                 if (ret != PMINFO_R_OK)
258                         return -1;
259         }
260
261         ret = pkgmgrinfo_pkginfo_get_root_path(handle, &path);
262         if (ret != PMINFO_R_OK) {
263                 pkgmgrinfo_pkginfo_destroy_pkginfo(handle);
264                 return -1;
265         }
266         rootPath = path;
267         pkgmgrinfo_pkginfo_destroy_pkginfo(handle);
268
269         return 0;
270 }
271
272
273 static int appAotCb(pkgmgrinfo_appinfo_h handle, void *userData)
274 {
275         char *pkgId = NULL;
276         int ret = 0;
277         bool* enableR2R = (bool*)userData;
278
279         ret = pkgmgrinfo_appinfo_get_pkgid(handle, &pkgId);
280         if (ret != PMINFO_R_OK) {
281                 fprintf(stderr, "Failed to get pkgid\n");
282                 return -1;
283         }
284
285         if (removeNiUnderPkgRoot(pkgId) != 0) {
286                 fprintf(stderr, "Failed to remove previous dlls from [%s]\n", pkgId);
287                 return -1;
288         }
289
290         // Regenerate ni files with R2R mode forcibiliy. (there is no way to now which option is used)
291         if (createNiUnderPkgRoot(pkgId, *enableR2R) != 0) {
292                 fprintf(stderr, "Failed to get root path from [%s]\n", pkgId);
293                 return -1;
294         } else {
295                 fprintf(stderr, "Complete make application to native image\n");
296         }
297
298         return 0;
299 }
300
301 static void createCoreLibNI(bool enableR2R)
302 {
303         std::string coreLib = concatPath(getRuntimeDir(), "System.Private.CoreLib.dll");
304         std::string niCoreLib = concatPath(getRuntimeDir(), "System.Private.CoreLib.ni.dll");
305         std::string coreLibBackup = concatPath(getRuntimeDir(), "System.Private.CoreLib.dll.Backup");
306
307         if (!isFileExist(coreLibBackup)) {
308                 if (!crossgen(coreLib, std::string(), enableR2R)) {
309                         if (rename(coreLib.c_str(), coreLibBackup.c_str())) {
310                                 fprintf(stderr, "Failed to rename System.Private.CoreLib.dll\n");
311                         }
312                         if (rename(niCoreLib.c_str(), coreLib.c_str())) {
313                                 fprintf(stderr, "Failed to rename System.Private.CoreLib.ni.dll\n");
314                         }
315                 } else {
316                         fprintf(stderr, "Failed to create native image for %s\n", coreLib.c_str());
317                 }
318         }
319 }
320
321 int initNICommon(NiCommonOption* option)
322 {
323 #if defined(__arm__)
324         // get interval value
325         const char* intervalFile = "/usr/share/dotnet.tizen/lib/crossgen_interval.txt";
326         std::ifstream inFile(intervalFile);
327         if (inFile) {
328                 fprintf(stderr, "crossgen_interval.txt is found\n");
329                 inFile >> __interval;
330         }
331
332         if (initializePluginManager("normal")) {
333                 fprintf(stderr, "Fail to initialize plugin manager\n");
334                 return -1;
335         }
336         if (initializePathManager(option->runtimeDir, option->tizenFXDir, option->extraDirs)) {
337                 fprintf(stderr, "Fail to initialize path manager\n");
338                 return -1;
339         }
340
341         __tpa = getTPA();
342
343         return 0;
344 #else
345         fprintf(stderr, "crossgen supports arm architecture only. skip ni file generation\n");
346         return -1;
347 #endif
348 }
349
350 void finalizeNICommon()
351 {
352         __interval = 0;
353
354         finalizePluginManager();
355         finalizePathManager();
356
357         __tpa.clear();
358 }
359
360
361 void createNiPlatform(bool enableR2R)
362 {
363         const std::string platformDirs[] = {getRuntimeDir(), getTizenFXDir()};
364         createNiUnderDirs(platformDirs, 2, enableR2R);
365 }
366
367 int createNiDll(const std::string& dllPath, bool enableR2R)
368 {
369         createCoreLibNI(enableR2R);
370         return crossgen(dllPath, std::string(), enableR2R);
371 }
372
373 void createNiUnderDirs(const std::string rootPaths[], int count, bool enableR2R, bool isAppNI)
374 {
375         createCoreLibNI(enableR2R);
376
377         std::string appPaths;
378         for (int i = 0; i < count; i++) {
379                 appPaths += rootPaths[i];
380                 appPaths += ':';
381         }
382
383         if (appPaths.back() == ':')
384                 appPaths.pop_back();
385
386         auto convert = [&appPaths, enableR2R, isAppNI](const std::string& path, const char* name) {
387                 if (!crossgen(path, appPaths.c_str(), enableR2R, isAppNI)) {
388                         waitInterval();
389                 }
390         };
391
392         for (int i = 0; i < count; i++) {
393                 scanFilesInDir(rootPaths[i], convert, 1);
394         }
395 }
396
397 int createNiUnderPkgRoot(const std::string& pkgName, bool enableR2R)
398 {
399         std::string pkgRoot;
400         if (getRootPath(pkgName, pkgRoot) < 0) {
401                 fprintf(stderr, "Failed to get root path from [%s]\n", pkgName.c_str());
402                 return -1;
403         }
404
405         std::string binDir = concatPath(pkgRoot, "bin");
406         std::string libDir = concatPath(pkgRoot, "lib");
407         std::string paths[] = {binDir, libDir};
408
409         createNiUnderDirs(paths, 2, enableR2R, true);
410
411         return 0;
412 }
413
414 int createNiDllUnderPkgRoot(const std::string& pkgName, const std::string& dllPath, bool enableR2R)
415 {
416         std::string pkgRoot;
417         if (getRootPath(pkgName, pkgRoot) < 0) {
418                 fprintf(stderr, "Failed to get root path from [%s]\n", pkgName.c_str());
419                 return -1;
420         }
421
422         std::string binDir = concatPath(pkgRoot, "bin");
423         std::string libDir = concatPath(pkgRoot, "lib");
424         std::string paths = binDir + ":" + libDir;
425
426         return crossgen(dllPath, paths, enableR2R, true);
427 }
428
429 void removeNiPlatform()
430 {
431         std::string coreLib = concatPath(getRuntimeDir(), "System.Private.CoreLib.dll");
432         std::string coreLibBackup = concatPath(getRuntimeDir(), "System.Private.CoreLib.dll.Backup");
433
434         if (!isFileExist(coreLibBackup)) {
435                 return;
436         }
437
438         if (remove(coreLib.c_str())) {
439                 fprintf(stderr, "Failed to remove System.Private.CoreLib native image file\n");
440         }
441
442         if (rename(coreLibBackup.c_str(), coreLib.c_str())) {
443                 fprintf(stderr, "Failed to rename System.Private.CoreLib.Backup to origin\n");
444         }
445
446         const std::string platformDirs[] = {getRuntimeDir(), getTizenFXDir()};
447
448         removeNiUnderDirs(platformDirs, 2);
449 }
450
451 void removeNiUnderDirs(const std::string rootPaths[], int count)
452 {
453         auto convert = [](const std::string& path, std::string name) {
454                 std::string ni;
455                 if (isNativeImage(path)) {
456                         if (remove(path.c_str())) {
457                                 fprintf(stderr, "Failed to remove %s\n", path.c_str());
458                         }
459                 }
460         };
461
462         for (int i = 0; i < count; i++)
463                 scanFilesInDir(rootPaths[i], convert, -1);
464 }
465
466 int removeNiUnderPkgRoot(const std::string& pkgName)
467 {
468         std::string pkgRoot;
469         if (getRootPath(pkgName, pkgRoot) < 0) {
470                 fprintf(stderr, "Failed to get root path from [%s]\n", pkgName.c_str());
471                 return -1;
472         }
473
474         std::string binDir = concatPath(pkgRoot, "bin");
475         std::string libDir = concatPath(pkgRoot, "lib");
476         std::string paths[] = {binDir, libDir};
477
478         removeNiUnderDirs(paths, 2);
479
480         std::string binNIDir = binDir + APP_NI_SUB_DIR;
481         if (isFileExist(binNIDir)) {
482                 if (rmdir(binNIDir.c_str()) != 0) {
483                         fprintf(stderr, "Failed to remove app ni dir [%s]\n", binNIDir.c_str());
484                 }
485         }
486
487         std::string libNIDir = libDir + APP_NI_SUB_DIR;
488         if (isFileExist(libNIDir)) {
489                 if (rmdir(libNIDir.c_str()) != 0) {
490                         fprintf(stderr, "Failed to remove app ni dir [%s]\n", libNIDir.c_str());
491                 }
492         }
493
494         return 0;
495 }
496
497 int regenerateAppNI(bool enableR2R)
498 {
499         int ret = 0;
500         pkgmgrinfo_appinfo_metadata_filter_h handle;
501
502         ret = pkgmgrinfo_appinfo_metadata_filter_create(&handle);
503         if (ret != PMINFO_R_OK)
504                 return -1;
505
506         ret = pkgmgrinfo_appinfo_metadata_filter_add(handle, AOT_METADATA_KEY, AOT_METADATA_VALUE);
507         if (ret != PMINFO_R_OK) {
508                 pkgmgrinfo_appinfo_metadata_filter_destroy(handle);
509                 return -1;
510         }
511
512         ret = pkgmgrinfo_appinfo_metadata_filter_foreach(handle, appAotCb, &enableR2R);
513         if (ret != PMINFO_R_OK) {
514                 fprintf(stderr, "Failed pkgmgrinfo_appinfo_metadata_filter_foreach\n");
515                 pkgmgrinfo_appinfo_metadata_filter_destroy(handle);
516                 return -1;
517         }
518
519         fprintf(stderr, "Success pkgmgrinfo_appinfo_metadata_filter_foreach\n");
520
521         pkgmgrinfo_appinfo_metadata_filter_destroy(handle);
522         return 0;
523 }
524