Add pixel comparation support to qmltest
[profile/ivi/qtdeclarative.git] / src / qmltest / quicktestresult_p.h
1 /****************************************************************************
2 **
3 ** Copyright (C) 2012 Nokia Corporation and/or its subsidiary(-ies).
4 ** Contact: http://www.qt-project.org/
5 **
6 ** This file is part of the test suite of the Qt Toolkit.
7 **
8 ** $QT_BEGIN_LICENSE:LGPL$
9 ** GNU Lesser General Public License Usage
10 ** This file may be used under the terms of the GNU Lesser General Public
11 ** License version 2.1 as published by the Free Software Foundation and
12 ** appearing in the file LICENSE.LGPL included in the packaging of this
13 ** file. Please review the following information to ensure the GNU Lesser
14 ** General Public License version 2.1 requirements will be met:
15 ** http://www.gnu.org/licenses/old-licenses/lgpl-2.1.html.
16 **
17 ** In addition, as a special exception, Nokia gives you certain additional
18 ** rights. These rights are described in the Nokia Qt LGPL Exception
19 ** version 1.1, included in the file LGPL_EXCEPTION.txt in this package.
20 **
21 ** GNU General Public License Usage
22 ** Alternatively, this file may be used under the terms of the GNU General
23 ** Public License version 3.0 as published by the Free Software Foundation
24 ** and appearing in the file LICENSE.GPL included in the packaging of this
25 ** file. Please review the following information to ensure the GNU General
26 ** Public License version 3.0 requirements will be met:
27 ** http://www.gnu.org/copyleft/gpl.html.
28 **
29 ** Other Usage
30 ** Alternatively, this file may be used in accordance with the terms and
31 ** conditions contained in a signed written agreement between you and Nokia.
32 **
33 **
34 **
35 **
36 **
37 **
38 ** $QT_END_LICENSE$
39 **
40 ****************************************************************************/
41
42 #ifndef QUICKTESTRESULT_P_H
43 #define QUICKTESTRESULT_P_H
44
45 #include <QtQuickTest/quicktestglobal.h>
46 #include <QtCore/qobject.h>
47 #include <QtCore/qstring.h>
48 #include <QtCore/qstringlist.h>
49 #include <QtCore/qscopedpointer.h>
50 #include <QtQuick/qquickitem.h>
51
52 QT_BEGIN_NAMESPACE
53
54 class QUrl;
55 class QuickTestResultPrivate;
56
57 class Q_QUICK_TEST_EXPORT QuickTestResult : public QObject
58 {
59     Q_OBJECT
60     Q_ENUMS(RunMode)
61     Q_PROPERTY(QString testCaseName READ testCaseName WRITE setTestCaseName NOTIFY testCaseNameChanged)
62     Q_PROPERTY(QString functionName READ functionName WRITE setFunctionName NOTIFY functionNameChanged)
63     Q_PROPERTY(QString dataTag READ dataTag WRITE setDataTag NOTIFY dataTagChanged)
64     Q_PROPERTY(bool failed READ isFailed)
65     Q_PROPERTY(bool skipped READ isSkipped WRITE setSkipped NOTIFY skippedChanged)
66     Q_PROPERTY(int passCount READ passCount)
67     Q_PROPERTY(int failCount READ failCount)
68     Q_PROPERTY(int skipCount READ skipCount)
69     Q_PROPERTY(QStringList functionsToRun READ functionsToRun)
70 public:
71     QuickTestResult(QObject *parent = 0);
72     ~QuickTestResult();
73
74     // Values must match QBenchmarkIterationController::RunMode.
75     enum RunMode
76     {
77         RepeatUntilValidMeasurement,
78         RunOnce
79     };
80
81     QString testCaseName() const;
82     void setTestCaseName(const QString &name);
83
84     QString functionName() const;
85     void setFunctionName(const QString &name);
86
87     QString dataTag() const;
88     void setDataTag(const QString &tag);
89
90     bool isFailed() const;
91
92     bool isSkipped() const;
93     void setSkipped(bool skip);
94
95     int passCount() const;
96     int failCount() const;
97     int skipCount() const;
98
99     QStringList functionsToRun() const;
100
101 public Q_SLOTS:
102     void reset();
103
104     void startLogging();
105     void stopLogging();
106
107     void initTestTable();
108     void clearTestTable();
109
110     void finishTestData();
111     void finishTestDataCleanup();
112     void finishTestFunction();
113
114     void fail(const QString &message, const QUrl &location, int line);
115     bool verify(bool success, const QString &message,
116                 const QUrl &location, int line);
117     bool compare(bool success, const QString &message,
118                  const QString &val1, const QString &val2,
119                  const QUrl &location, int line);
120     void skip(const QString &message, const QUrl &location, int line);
121     bool expectFail(const QString &tag, const QString &comment,
122                     const QUrl &location, int line);
123     bool expectFailContinue(const QString &tag, const QString &comment,
124                             const QUrl &location, int line);
125     void warn(const QString &message, const QUrl &location, int line);
126
127     void ignoreWarning(const QString &message);
128
129     void wait(int ms);
130     void sleep(int ms);
131
132     void startMeasurement();
133     void beginDataRun();
134     void endDataRun();
135     bool measurementAccepted();
136     bool needsMoreMeasurements();
137
138     void startBenchmark(RunMode runMode, const QString &tag);
139     bool isBenchmarkDone() const;
140     void nextBenchmark();
141     void stopBenchmark();
142
143     QObject *grabImage(QQuickItem *item);
144
145 public:
146     // Helper functions for the C++ main() shell.
147     static void parseArgs(int argc, char *argv[]);
148     static void setProgramName(const char *name);
149     static void setCurrentAppname(const char *appname);
150     static int exitCode();
151
152 Q_SIGNALS:
153     void programNameChanged();
154     void testCaseNameChanged();
155     void functionNameChanged();
156     void dataTagChanged();
157     void skippedChanged();
158
159 private:
160     QScopedPointer<QuickTestResultPrivate> d_ptr;
161
162     Q_DECLARE_PRIVATE(QuickTestResult)
163     Q_DISABLE_COPY(QuickTestResult)
164 };
165
166 QT_END_NAMESPACE
167
168 #endif