Add PerformanceResult class
[platform/core/test/security-tests.git] / src / framework / src / test_runner.cpp
1 /*
2  * Copyright (c) 2014-2015 Samsung Electronics Co., Ltd All Rights Reserved
3  *
4  *    Licensed under the Apache License, Version 2.0 (the "License");
5  *    you may not use this file except in compliance with the License.
6  *    You may obtain a copy of the License at
7  *
8  *        http://www.apache.org/licenses/LICENSE-2.0
9  *
10  *    Unless required by applicable law or agreed to in writing, software
11  *    distributed under the License is distributed on an "AS IS" BASIS,
12  *    WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
13  *    See the License for the specific language governing permissions and
14  *    limitations under the License.
15  */
16 /*
17  * @file        test_runner.cpp
18  * @author      Przemyslaw Dobrowolski (p.dobrowolsk@samsung.com)
19  * @author      Lukasz Wrzosek (l.wrzosek@samsung.com)
20  * @version     1.0
21  * @brief       This file is the implementation file of test runner
22  */
23 #include <stddef.h>
24 #include <dpl/test/test_runner.h>
25 #include <dpl/test/test_results_collector.h>
26 #include <dpl/exception.h>
27 #include <dpl/scoped_free.h>
28 #include <dpl/log/log.h>
29 #include <dpl/colors.h>
30 #include <pcrecpp.h>
31 #include <algorithm>
32 #include <cstdio>
33 #include <memory.h>
34 #include <libgen.h>
35 #include <cstring>
36 #include <cstdlib>
37
38 #include <libxml/xpath.h>
39 #include <libxml/xpathInternals.h>
40 #include <libxml/parser.h>
41 #include <libxml/tree.h>
42
43 #include <dpl/singleton_impl.h>
44 IMPLEMENT_SINGLETON(DPL::Test::TestRunner)
45
46 namespace {
47
48 std::string getXMLNode(xmlNodePtr node)
49 {
50     std::string ret;
51     xmlChar * value = xmlNodeGetContent(node);
52     ret = std::string(reinterpret_cast<char*>(value));
53     xmlFree(value);
54     return ret;
55 }
56
57 }
58
59
60 namespace DPL {
61 namespace Test {
62 namespace // anonymous
63 {
64 std::string BaseName(std::string aPath)
65 {
66     ScopedFree<char> path(strdup(aPath.c_str()));
67     if (nullptr == path.Get()) {
68         throw std::bad_alloc();
69     }
70     char* baseName = basename(path.Get());
71     std::string retValue = baseName;
72     return retValue;
73 }
74 } // namespace anonymous
75
76 //! \brief Failed test message creator
77 //!
78 //! \param[in] aTest string for tested expression
79 //! \param[in] aFile source file name
80 //! \param[in] aLine source file line
81 //! \param[in] aMessage error message
82 TestRunner::TestFailed::TestFailed(const char* aTest,
83                                    const char* aFile,
84                                    int aLine,
85                                    const std::string &aMessage)
86 {
87     std::ostringstream assertMsg;
88     assertMsg << "[" << BaseName(aFile) << ":" << aLine
89               << "] Assertion failed ("
90               << aTest << ") " << aMessage;
91     m_message = assertMsg.str();
92 }
93
94 TestRunner::TestFailed::TestFailed(const std::string &message)
95 {
96     m_message = message;
97 }
98
99 void TestRunner::RegisterTest(const char *testName, TestCase proc)
100 {
101     m_testGroups[m_currentGroup].push_back(TestCaseStruct(testName, proc));
102 }
103
104 void TestRunner::InitGroup(const char* name)
105 {
106     m_currentGroup = name;
107 }
108
109 void TestRunner::normalizeXMLTag(std::string& str, const std::string& testcase)
110 {
111     //Add testcase if missing
112     std::string::size_type pos = str.find(testcase);
113     if(pos != 0)
114     {
115         str = testcase + "_" + str;
116     }
117
118     //dpl test runner cannot have '-' character in name so it have to be replaced
119     // for TCT case to make comparision works
120     std::replace(str.begin(), str.end(), '-', '_');
121 }
122
123 bool TestRunner::filterGroupsByXmls(const std::vector<std::string> & files)
124 {
125     DECLARE_EXCEPTION_TYPE(DPL::Exception, XMLError)
126
127     const std::string idPath = "/test_definition/suite/set/testcase/@id";
128
129     bool success = true;
130     std::map<std::string, bool> casesMap;
131
132     std::string testsuite;
133     if(!m_testGroups.empty())
134     {
135         for(TestCaseGroupMap::const_iterator cit = m_testGroups.begin(); cit != m_testGroups.end(); ++cit)
136         {
137             if(!cit->second.empty())
138             {
139                 for(TestCaseStructList::const_iterator cj = cit->second.begin(); cj != cit->second.end(); ++cj)
140                 {
141                     std::string name = cj->name;
142                     std::string::size_type st = name.find('_');
143                     if(st != std::string::npos)
144                     {
145                         name = name.substr(0, st);
146                         testsuite = name;
147                         break;
148                     }
149                 }
150                 if(!testsuite.empty()) break;
151             }
152         }
153     }
154
155     xmlInitParser();
156     LIBXML_TEST_VERSION
157     xmlXPathInit();
158
159     Try
160     {
161         for (const std::string &file : files)
162         {
163             xmlDocPtr doc;
164             xmlXPathContextPtr xpathCtx;
165
166             doc = xmlReadFile(file.c_str(), nullptr, 0);
167             if (doc == nullptr) {
168                 ThrowMsg(XMLError, "File Problem");
169             } else {
170                 //context
171                 xpathCtx = xmlXPathNewContext(doc);
172                 if (xpathCtx == nullptr) {
173                     ThrowMsg(XMLError,
174                              "Error: unable to create new XPath context\n");
175                 }
176                 xpathCtx->node = xmlDocGetRootElement(doc);
177             }
178
179             std::string result;
180             xmlXPathObjectPtr xpathObject;
181             //get requested node's values
182             xpathObject = xmlXPathEvalExpression(BAD_CAST idPath.c_str(), xpathCtx);
183             if (xpathObject == nullptr)
184             {
185                 ThrowMsg(XMLError, "XPath evaluation failure: " << idPath);
186             }
187             xmlNodeSetPtr nodes = xpathObject->nodesetval;
188             unsigned size = (nodes) ? nodes->nodeNr : 0;
189             LogDebug("Found " << size << " nodes matching xpath");
190             for(unsigned i = 0; i < size; ++i)
191             {
192                 LogPedantic("Type: " << nodes->nodeTab[i]->type);
193                 if (nodes->nodeTab[i]->type == XML_ATTRIBUTE_NODE) {
194                     xmlNodePtr curNode = nodes->nodeTab[i];
195                     result = getXMLNode(curNode);
196                     LogPedantic("Result: " << result);
197                     normalizeXMLTag(result, testsuite);
198                     casesMap.insert(make_pair(result, false));
199                 }
200             }
201             //Cleanup of XPath data
202             xmlXPathFreeObject(xpathObject);
203             xmlXPathFreeContext(xpathCtx);
204             xmlFreeDoc(doc);
205         }
206     }
207     Catch(XMLError)
208     {
209         LogError("Libxml error: " << _rethrown_exception.DumpToString());
210         success = false;
211     }
212     xmlCleanupParser();
213
214     if(!filterByXML(casesMap))
215     {
216         success = false;
217     }
218
219     return success;
220 }
221
222 bool TestRunner::filterByXML(std::map<std::string, bool> & casesMap)
223 {
224     for (auto &group : m_testGroups) {
225         TestCaseStructList newList;
226         for (auto &tc : group.second)
227         {
228             if (casesMap.find(tc.name) != casesMap.end()) {
229                 casesMap[tc.name] = true;
230                 newList.push_back(tc);
231             }
232         }
233         group.second = newList;
234     }
235     for (auto &cs : casesMap)
236     {
237         if(cs.second == false)
238         {
239             LogError("Cannot find testcase from XML file: " << cs.first);
240             return false;
241         }
242     }
243     return true;
244 }
245
246 TestRunner::Status TestRunner::RunTestCase(const TestCaseStruct& testCase)
247 {
248     setCurrentTestCase(&(const_cast<TestCaseStruct &>(testCase)));
249     try {
250         testCase.proc();
251     } catch (const TestFailed &e) {
252         // Simple test failure
253         CollectResult(testCase.name,
254                       TestResultsCollectorBase::FailStatus::FAILED,
255                       getConcatedFailReason(e.GetMessage()));
256
257         setCurrentTestCase(nullptr);
258         return FAILED;
259     } catch (const Ignored &e) {
260         if (m_runIgnored) {
261             // Simple test have to be implemented
262             CollectResult(testCase.name,
263                           TestResultsCollectorBase::FailStatus::IGNORED,
264                           e.GetMessage());
265         }
266
267         setCurrentTestCase(nullptr);
268         return IGNORED;
269     } catch (const std::exception &) {
270         // std exception failure
271         CollectResult(testCase.name,
272                       TestResultsCollectorBase::FailStatus::FAILED,
273                       "std exception");
274
275         setCurrentTestCase(nullptr);
276         return FAILED;
277     } catch (...) {
278         // Unknown exception failure
279         CollectResult(testCase.name,
280                       TestResultsCollectorBase::FailStatus::FAILED,
281                       "unknown exception");
282
283         setCurrentTestCase(nullptr);
284         return FAILED;
285     }
286
287     CollectResult(testCase.name,
288                   TestResultsCollectorBase::FailStatus::NONE,
289                   std::string(),
290                   testCase.performance);
291     setCurrentTestCase(nullptr);
292
293     // Everything OK
294     return PASS;
295 }
296
297 void TestRunner::RunTests()
298 {
299     using namespace DPL::Colors::Text;
300
301     Banner();
302     for (auto &collector : m_collectors) {
303         collector.second->Start();
304     }
305
306     unsigned count = 0;
307     for (auto &group : m_testGroups) {
308         count += group.second.size();
309     }
310     fprintf(stderr, "%sFound %d testcases...%s\n", GREEN_BEGIN, count, GREEN_END);
311     fprintf(stderr, "%s%s%s\n", GREEN_BEGIN, "Running tests...", GREEN_END);
312     for (auto &group : m_testGroups) {
313         TestCaseStructList list = group.second;
314         if (!list.empty()) {
315             for (auto &collector : m_collectors) {
316                 collector.second->CollectCurrentTestGroupName(group.first);
317             }
318             list.sort();
319
320             for (TestCaseStructList::const_iterator iterator = list.begin();
321                  iterator != list.end();
322                  ++iterator)
323             {
324                 TestCaseStruct test = *iterator;
325                 if (m_startTestId == test.name) {
326                     m_startTestId = "";
327                 }
328
329                 if (m_startTestId.empty()) {
330                     RunTestCase(test);
331                 }
332                 if (m_terminate == true) {
333                     // Terminate quietly without any logs
334                     return;
335                 }
336             }
337         }
338     }
339
340     std::for_each(m_collectors.begin(),
341                   m_collectors.end(),
342                   [] (const TestResultsCollectors::value_type & collector)
343                   {
344                       collector.second->Finish();
345                   });
346
347     // Finished
348     fprintf(stderr, "%s%s%s\n\n", GREEN_BEGIN, "Finished", GREEN_END);
349 }
350
351 TestRunner::TestCaseStruct *TestRunner::getCurrentTestCase()
352 {
353     return m_currentTestCase;
354 }
355
356 void TestRunner::setCurrentTestCase(TestCaseStruct* testCase)
357 {
358     m_currentTestCase = testCase;
359 }
360
361 void TestRunner::beginPerformance(std::chrono::system_clock::duration maxDurationInMicroseconds)
362 {
363     TestCaseStruct* testCase = getCurrentTestCase();
364     if (!testCase)
365         return;
366
367     if (!testCase->performance)
368         testCase->performance.reset(new PerformanceResult(maxDurationInMicroseconds));
369 }
370
371 void TestRunner::endPerformance()
372 {
373     TestCaseStruct* testCase = getCurrentTestCase();
374     if (!testCase)
375         return;
376
377     testCase->performance->Finish();
378 }
379
380 ConstPerformanceResultPtr TestRunner::getCurrentTestCasePerformanceResult()
381 {
382     TestCaseStruct* testCase = getCurrentTestCase();
383     if (!testCase)
384         return nullptr;
385
386     return testCase->performance;
387 }
388
389 void TestRunner::setCurrentTestCasePerformanceResult(const PerformanceResultPtr &performance)
390 {
391     TestCaseStruct* testCase = getCurrentTestCase();
392     if (!testCase)
393         return;
394
395     testCase->performance = performance;
396 }
397
398 void TestRunner::addFailReason(const std::string &reason)
399 {
400     m_failReason.push(reason);
401 }
402
403 std::string TestRunner::getConcatedFailReason(const std::string &reason)
404 {
405     std::string ret;
406     while (!m_failReason.empty())
407     {
408         ret += m_failReason.front();
409         m_failReason.pop();
410     }
411     return reason + ret;
412 }
413
414 void TestRunner::CollectResult(
415     const std::string& id,
416     const TestResultsCollectorBase::FailStatus status,
417     const std::string& reason,
418     const ConstPerformanceResultPtr &performance)
419 {
420     std::for_each(m_collectors.begin(),
421                   m_collectors.end(),
422                   [&](const TestResultsCollectors::value_type & collector)
423                   {
424                       collector.second->CollectResult(id,
425                                                       status,
426                                                       reason,
427                                                       performance);
428                   });
429 }
430
431 void TestRunner::Banner()
432 {
433     using namespace DPL::Colors::Text;
434     fprintf(stderr,
435             "%s%s%s\n",
436             BOLD_GREEN_BEGIN,
437             "DPL tests runner",
438             BOLD_GREEN_END);
439     fprintf(stderr,
440             "%s%s%s%s\n\n",
441             GREEN_BEGIN,
442             "Build: ",
443             __TIMESTAMP__,
444             GREEN_END);
445 }
446
447 void TestRunner::InvalidArgs(const std::string& message)
448 {
449     using namespace DPL::Colors::Text;
450     fprintf(stderr,
451             "%s%s%s\n",
452             BOLD_RED_BEGIN,
453             message.c_str(),
454             BOLD_RED_END);
455 }
456
457 void TestRunner::Usage()
458 {
459     fprintf(stderr, "Usage: runner [options]\n\n");
460     fprintf(stderr, "Output type:\n");
461     fprintf(stderr, "  --output=<output type> --output=<output type> ...\n");
462     fprintf(stderr, "\n  possible output types:\n");
463     for (std::string &type : TestResultsCollectorBase::GetCollectorsNames()) {
464         fprintf(stderr, "    --output=%s\n", type.c_str());
465     }
466     fprintf(stderr, "\n  example:\n");
467     fprintf(stderr,
468             "    test-binary --output=text --output=xml --file=output.xml\n\n");
469     fprintf(stderr, "Other parameters:\n");
470     fprintf(stderr,
471             "  --regexp='regexp'\t Only selected tests"
472             " which names match regexp run\n\n");
473     fprintf(stderr, "  --start=<test id>\tStart from concrete test id");
474     fprintf(stderr, "  --group=<group name>\t Run tests only from one group\n");
475     fprintf(stderr, "  --runignored\t Run also ignored tests\n");
476     fprintf(stderr, "  --list\t Show a list of Test IDs\n");
477     fprintf(stderr, "  --listgroups\t Show a list of Test Group names \n");
478     fprintf(stderr, "  --only-from-xml=<xml file>\t Run only testcases specified in XML file \n"
479                     "       XML name is taken from attribute id=\"part1_part2\" as whole.\n"
480                     "       If part1 is not found (no _) then it is implicitily "
481                            "set according to suite part1 from binary tests\n");
482     fprintf(
483         stderr,
484         "  --listingroup=<group name>\t Show a list of Test IDS in one group\n");
485     fprintf(stderr, "  --allowchildlogs\t Allow to print logs from child process on screen.\n");
486     fprintf(stderr, "       When active child process will be able to print logs on stdout and stderr.\n");
487     fprintf(stderr, "       Both descriptors will be closed after test.\n");
488     fprintf(stderr, "  --help\t This help\n\n");
489     std::for_each(m_collectors.begin(),
490                   m_collectors.end(),
491                   [] (const TestResultsCollectors::value_type & collector)
492                   {
493                       fprintf(stderr,
494                               "Output %s has specific args:\n",
495                               collector.first.c_str());
496                       fprintf(stderr,
497                               "%s\n",
498                               collector.second->
499                                   CollectorSpecificHelp().c_str());
500                   });
501     fprintf(stderr, "For bug reporting, please write to:\n");
502     fprintf(stderr, "<p.dobrowolsk@samsung.com>\n");
503 }
504
505 int TestRunner::ExecTestRunner(int argc, char *argv[])
506 {
507     std::vector<std::string> args;
508     for (int i = 0; i < argc; ++i) {
509         args.push_back(argv[i]);
510     }
511     return ExecTestRunner(args);
512 }
513
514 void TestRunner::MarkAssertion()
515 {
516     ++m_totalAssertions;
517 }
518
519 int TestRunner::ExecTestRunner(ArgsList args)
520 {
521     m_runIgnored = false;
522     // Parse command line
523
524     args.erase(args.begin());
525
526     bool showHelp = false;
527     bool justList = false;
528     std::vector<std::string> xmlFiles;
529
530     TestResultsCollectorBasePtr currentCollector;
531
532     // Parse each argument
533     for(std::string &arg : args)
534     {
535         const std::string regexp = "--regexp=";
536         const std::string output = "--output=";
537         const std::string groupId = "--group=";
538         const std::string runIgnored = "--runignored";
539         const std::string listCmd = "--list";
540         const std::string startCmd = "--start=";
541         const std::string listGroupsCmd = "--listgroups";
542         const std::string listInGroup = "--listingroup=";
543         const std::string allowChildLogs = "--allowchildlogs";
544         const std::string onlyFromXML = "--only-from-xml=";
545
546         if (currentCollector) {
547             if (currentCollector->ParseCollectorSpecificArg(arg)) {
548                 continue;
549             }
550         }
551
552         if (arg.find(startCmd) == 0) {
553             arg.erase(0, startCmd.length());
554             for (auto &group : m_testGroups) {
555                 for (auto &tc : group.second) {
556                     if (tc.name == arg) {
557                         m_startTestId = arg;
558                         break;
559                     }
560                 }
561                 if (!m_startTestId.empty()) {
562                     break;
563                 }
564             }
565             if (!m_startTestId.empty()) {
566                 continue;
567             }
568             InvalidArgs();
569             fprintf(stderr, "Start test id has not been found\n");
570             Usage();
571             return 0;
572         } else if (arg.find(groupId) == 0) {
573             arg.erase(0, groupId.length());
574             TestCaseGroupMap::iterator found = m_testGroups.find(arg);
575             if (found != m_testGroups.end()) {
576                 std::string name = found->first;
577                 TestCaseStructList newList = found->second;
578                 m_testGroups.clear();
579                 m_testGroups[name] = newList;
580             } else {
581                 fprintf(stderr, "Group %s not found\n", arg.c_str());
582                 InvalidArgs();
583                 Usage();
584                 return -1;
585             }
586         } else if (arg == runIgnored) {
587             m_runIgnored = true;
588         } else if (arg == listCmd) {
589             justList = true;
590         } else if (arg == listGroupsCmd) {
591             for (auto &group : m_testGroups) {
592                 printf("GR:%s\n", group.first.c_str());
593             }
594             return 0;
595         } else if (arg.find(listInGroup) == 0) {
596             arg.erase(0, listInGroup.length());
597             for (auto &test : m_testGroups[arg]) {
598                 printf("ID:%s\n", test.name.c_str());
599             }
600             return 0;
601         } else if (arg.find(allowChildLogs) == 0) {
602             arg.erase(0, allowChildLogs.length());
603             m_allowChildLogs = true;
604         } else if (arg == "--help") {
605             showHelp = true;
606         } else if (arg.find(output) == 0) {
607             arg.erase(0, output.length());
608             if (m_collectors.find(arg) != m_collectors.end()) {
609                 InvalidArgs(
610                     "Multiple outputs of the same type are not supported!");
611                 Usage();
612                 return -1;
613             }
614             currentCollector.reset(TestResultsCollectorBase::Create(arg));
615             if (!currentCollector) {
616                 InvalidArgs("Unsupported output type!");
617                 Usage();
618                 return -1;
619             }
620             m_collectors[arg] = currentCollector;
621         } else if (arg.find(regexp) == 0) {
622             arg.erase(0, regexp.length());
623             if (arg.length() == 0) {
624                 InvalidArgs();
625                 Usage();
626                 return -1;
627             }
628
629             if (arg[0] == '\'' && arg[arg.length() - 1] == '\'') {
630                 arg.erase(0);
631                 arg.erase(arg.length() - 1);
632             }
633
634             if (arg.length() == 0) {
635                 InvalidArgs();
636                 Usage();
637                 return -1;
638             }
639
640             pcrecpp::RE re(arg.c_str());
641             for (auto &group : m_testGroups) {
642                 TestCaseStructList newList;
643                 for (auto &tc : group.second)
644                 {
645                     if (re.PartialMatch(tc.name)) {
646                         newList.push_back(tc);
647                     }
648                 }
649                 group.second = newList;
650             }
651         } else if(arg.find(onlyFromXML) == 0) {
652             arg.erase(0, onlyFromXML.length());
653             if (arg.length() == 0) {
654                 InvalidArgs();
655                 Usage();
656                 return -1;
657             }
658
659             if (arg[0] == '\'' && arg[arg.length() - 1] == '\'') {
660                 arg.erase(0);
661                 arg.erase(arg.length() - 1);
662             }
663
664             if (arg.length() == 0) {
665                 InvalidArgs();
666                 Usage();
667                 return -1;
668             }
669
670             xmlFiles.push_back(arg);
671         } else {
672             InvalidArgs();
673             Usage();
674             return -1;
675         }
676     }
677
678     if(!xmlFiles.empty())
679     {
680         if(!filterGroupsByXmls(xmlFiles))
681         {
682             fprintf(stderr, "XML file is not correct\n");
683             return 0;
684         }
685     }
686
687     if(justList)
688     {
689         for (auto &group : m_testGroups) {
690             for (auto &tc : group.second) {
691                 printf("ID:%s:%s\n", group.first.c_str(), tc.name.c_str());
692             }
693         }
694         return 0;
695     }
696
697     currentCollector.reset();
698
699     // Show help
700     if (showHelp) {
701         Usage();
702         return 0;
703     }
704
705     if (m_collectors.empty()) {
706         TestResultsCollectorBasePtr collector(
707             TestResultsCollectorBase::Create("text"));
708         m_collectors["text"] = collector;
709     }
710
711     for (auto &collector : m_collectors) {
712         if (!collector.second->Configure()) {
713             fprintf(stderr, "Could not configure selected output");
714             return 0;
715         }
716     }
717
718     // Run tests
719     RunTests();
720
721     return 0;
722 }
723
724 bool TestRunner::getRunIgnored() const
725 {
726     return m_runIgnored;
727 }
728
729 void TestRunner::Terminate()
730 {
731     m_terminate = true;
732 }
733
734 bool TestRunner::GetAllowChildLogs()
735 {
736     return m_allowChildLogs;
737 }
738
739 }
740 } // namespace DPL