Prevent to reset callbacks in InitializeMembers() method

- Issue:
If client app is terminated and launched again, mmi manager can not send
any output result to client app

- Solution:
Current voice touch engine resets the callbacks in InitializeMembers(),
but this method is invoked by a user utterance for terminating client
app. Thus, resetting callbacks in this situation is not intended result.
This patch removes the logic for resetting the callbacks from the
method. Through this patch, voice touch engine always can send output
result to IU modeule.

Change-Id: I0c7e6c428c077494e6ad12ba38582bec55a501b4
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Use PreDefinedCommands class for managing pre-defined commands

- Requirement:
IU module can handle pre-defined command with various language.

- Solution:
This patch makes IU module use PreDefinedCommands class for managing
pre-defined commands. Through this patch, IU module can handle
pre-defined commands with various language state.

Change-Id: Iefbe26cf5e49dc6a614f0bf2065ab191befb261e
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Add new class for managing pre-defined commands

- Requirements:
IU modules needs to manage pre-defined commands according to each
language.

- Solution:
Pre-defined commands can be extended by the language and actions. Thus,
this patch adds new class for manage pre-defined commands. This new
class provides interface for easily using pre-definfed commands.

Change-Id: I9d9bf09fa603af4f1f565f6f26be437b30e87712
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Fix parameter of mmi_provider_event_voice

- Issue:
The event structure does not have member for storing language of result
infomration.

- Solution:
This patch fixes the member of the event structure for voice modality.
Through this patch, voice modality provider can send the language
information using this structure.

Change-Id: I82f0e2d9eae4f990e15451ec6e0f698062f606be
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Send empty clicked object result

- Issue:
Voice touch app did not clear the tooltip when user says 'back' or
'referesh'.

- Solution:
Current mmi-manager did not send result to client app, but just sends
output event to output modality when the utterance is pre defined
command. Thus, client app can not handle pre-defined command action
situation. This patch sends result of pre-defined command to client app.
Through this patch, client app can handle this special situation.

Change-Id: I560276bfa230e2171b3d79ed6a69f260a6a239be
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Add label to object which has no text label

- Issue:
The utterance about number is not recognized in text label mode.

- Solution:
This patch adds label information for the objects which have no label
information. For these objects, mmi manager uses index information as
label information. Through this patch, number utterance in text label
mode is properly recognized. However, some utterance like '7번' can not
be recogntized yet.

Change-Id: I9fc025638a479d210f644dc5f47b12ed5f435ac3
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Find intersect area at grid mode second depth

Change-Id: Ib2a78e0d5223c33a9e86ad38e20b0ca7df3265ae

Change screen information refresh interval to seconds

This reverts commit dad6d944c060b544e96e38543a600f06c7f4c427.

Change-Id: I9bb71498b17c16c5f8940b8161201fc75566795e

Add operation command

Change-Id: If65ca0661dec6dd4757f94adf2b862143863a3ad

Add operation to output modality voice touch

Change-Id: I161b0e865124ea66ecf629a165b9c2b92e0c388f

Remove app id from core callback called by IU

Change-Id: If9311642f83cf802b84214f96b1fc619a7600977

Merge "version up : 1.0.2" into tizen

Merge "Remove app id from IU" into tizen

Merge "Remove foreground app from output result" into tizen

Merge "Use client handle for sending output result" into tizen

Merge "Add method for getting clines which register specified event" into tizen

Merge "Reformat readme file for presenting source tree" into tizen

for resolving memory risk, add destroy in modality_vision

Because of no destroy when it return on error, it can get a memory risk.
So, added destroy of source.

Change-Id: I75ad9743474fb28776bfc88e8af7d408d4a500c7

version up : 1.0.2

Change-Id: I717f5b53679f88a83e772975e60a405241c17994
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Remove app id from IU

- Requirement:
IU module does not need to manage client app ID.

- Solution:
This patch removes app ID parameter from functions and methods of IU
module. Through this patch, IU does not need to manage client app ID.

Change-Id: I6f690129e3c1e5542045822f85fd1052435262b1
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Remove foreground app from output result

- Issue:
MMI IU does not know forground app information.

- Solution:
Actually foreground app information is not used anywhere. Current voice
touch app UX does not need foreground app information. And also, screen
analyzer modality does not send foreground app information to mmi
manager. Thus, this patch removes unused information from output result.
Through this patch, IU does not need to manage app information.

Change-Id: I7fee0723b2ad3ce472199f869a4cc4d8aced34e8
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Use client handle for sending output result

- Requirement:
mmi core wants to control client when mmi manager sends output result to
proper client which set specified event.

- Solution:
This patch fixes parameter of mmi_api_handler_send_result() function
from app id to client handle. Through this change and function of mmi
client module, mmi core can control clients when mmi manager sends
output result to clients which set specified event.

Change-Id: Iee2f0e4c65cc2aeabcec09330264904bfb682052
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Add method for getting clines which register specified event

- Requirement:
Mmi core wants to get client handles which register the specified event.

- Solution:
In order to control the client following event type, mmi core module has
to get clients from the mmi client modules. Thus, this patch adds new
method for getting client handles which register the specified event.
Throught this patch, mmi core module can get the proper clients from the
mmi client module.

Change-Id: I4af834bc421dad60a79ef60b5af6b8f056ec85e7
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Reformat readme file for presenting source tree

Change-Id: I26d7f393c0f3f959031862f074fc11dbd5dd1a01
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Remove unused rule file

Change-Id: If356b480436317a8da64c36981c526b9d8d2f2a1
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Remove unused files and function from IU module

Change-Id: I327ca986d62b9d32f723ab22aa09fb036dee2269
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Merge "Remove unused header" into tizen

Merge "Use reference type in vector iteration" into tizen

Merge "Modify README.md" into tizen

Merge "Change screen information refresh interval to milliseconds" into tizen

Reset member function after sending result

Change-Id: Id4fe8161ebc55fe713b6812fcd04ad50eacf630d
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Remove unused header

Change-Id: I6e2c8a00a12ee1fa46efe1d7c9f4ad44cb20d096
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Use reference type in vector iteration

Change-Id: Ic35c58fbaeffc37d3c9a6d19751b119270a15175
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Modify README.md

Change-Id: Ibdbd9f438f58690133002957cb66ed9e9a5cee73
Signed-off-by: sungwook79.park <sungwook79.park@samsung.com>

version up : 1.0.1

Change-Id: If86a239969e4ae995d507c8321e373e7c5c83c51

Change screen information refresh interval to milliseconds

Change-Id: Iefa128d3c17989789da6ed24cd6232c3b55667de

Add voice touch trun off command

Change-Id: I5d16fba600515cb571fec7af82b0c9502fb4fd8f
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Add new methods for making turn off event

Change-Id: I4c413476a3163b4e30ce0c70ca0047cdfcdb78d9
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Merge "Skip operation when mode is not changed by voice command" into tizen

Move grid depth and result type info to proper hierarchy

Change-Id: I1af6003bfc25e0c6e3392fd14da627bc36ede757
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Skip operation when mode is not changed by voice command

Change-Id: I70bdaf533eca6d58da627da305a64906a061f403
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Send result type and grid depth with clicked object

Change-Id: I4e1c67f80e4f042f45a43311bc416a3037798aec
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Send 2nd depth grid information after 1st depth grid

Change-Id: I1c46354a337a554db864dd4e30e22b2d57a44c0b
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Skip request modality when grid mode is in 1st depth

Change-Id: Ic5d0cd3751c36ac5a682787cb29c60b59a08d168
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Merge changes I3b9dccd5,Id6ee19f8 into tizen

* changes:
  add null check about object id of output modality
  change voice touch click logic as by coordinate

Merge "Register proper command by current voice touch mode" into tizen

add null check about object id of output modality

Change-Id: I3b9dccd56cd95c34ca685e9ac3a157c88917a9ee

change voice touch click logic as by coordinate

If a target's profile is not a TV, it clicks object by coordinate.
No longer it finds object by aurum because of time.

Change-Id: Id6ee19f8d1ec4f5c2c3bd2c1041346cb1edffa67

Request event for refreshing clickable object

Change-Id: I98990c427a2a83cd7478a4344c76b86f85df092b
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Merge "Add index to label when the item has no label" into tizen

Merge changes Ib499bda1,Ic465aee2,I856535e3 into tizen

* changes:
  Add grid depth information to output result
  Add grid mode activation command
  Fix order of generating grid

Register proper command by current voice touch mode

Change-Id: I7bd11bb7f03704c9a7ed28b01c6e750078577453
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Add index to label when the item has no label

Change-Id: I442e57933df49065ba7da3a6ef65279559404cc7
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Add grid depth information to output result

Change-Id: Ib499bda19e714450e56d423b0074f87b50b403c6
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Add grid mode activation command

Change-Id: Ic465aee253c15f292e95d276343f58fcab0fae4b
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Fix order of generating grid

Change-Id: I856535e37986defc1f76eb8827ca75dc0eb9504c
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Add refresh screen information event

Change-Id: I122f38b076651d35cf6f0a64bf5a398b3e3fbc4e

fix type at iu voice touch engine output modality callback

Change-Id: Icc183adab13805cbe6f30ce64be399e20a43a0c5

Fix langauge of voice touch command as Korean

- Issue:
Current voice modality sends text with Korean.

- Solution:
This patch changes the candidates of the voice touch command to Korean
language version. Current voice modality just recognize Korean language
only, so without Korean command MMI manager can not be properly worked.
Through this patch, MMI manager can recognize Korean ASR result.

Change-Id: I0f621effe00a9dc672fb295dbd87de63ddd5c486
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Remove legacy IU engine module

- Issue:
Legacy IU module is not used now.

- Solution:
This patch removes legacy IU module from the project. This legacy IU
module does not fit current architecture for voice touch feature.

Change-Id: If5af3c00df414a94ff63acc4ffb0675ba296f0d4
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Merge changes I94199933,Ib0feb1e7 into tizen

* changes:
  for luanch with mmi voice touch reference app, app id has to change as org.tizen.voice-touch
  fix received_callbacks' event type

Change variable naming

Change-Id: Ifda5b64d6c97a6a739e16bc375afc3995b21b72e
Signed-off-by: sooyeon <sooyeon.kim@samsung.com>

Change key names with camel style

Change-Id: I22f480bb869933933a856aefb61647b955de4d08
Signed-off-by: sooyeon <sooyeon.kim@samsung.com>

fix checking result_cb_list length exception

exception's condition is changed as same or less than 0 for checking of client's result_cb_list in client_manager_get_result_cb_handle.

Change-Id: Idf2d16f84d142427194cc5a82ae781adb4ce4cba

Fix double free issue when destrouct JsonProvider

Change-Id: I4bfffd044005a972900d0a76376e94b1d4cd21cb
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Send output result when screen analyzer event occurs

- Issue:
IU engine does not invoke callback for sending output result to client
app when screen analyzer event occurs.

- Solution:
This patch adds code for invoking output result callback, and this code
is for sending clickable object information to client app.

Change-Id: I1b4be635b3dacc8af112acf604a7d506a47b62e3
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

for luanch with mmi voice touch reference app, app id has to change as org.tizen.voice-touch

Change-Id: I94199933123a050e3cdf196391c84cdc853be07a

fix received_callbacks' event type

received_callbacks' event type should be type of input event type.
So, replace as MMI_INPUT_EVENT_TYPE_VOICE_TOUCH

Change-Id: Ib0feb1e7c41aa7e194725965ad387a3c343378d2

add deactivate client's input event when client is removed

when client is removed, it needs to stop input event's modalities.
So, it needs to call deactivate input event api, and do drop events

Change-Id: I80a757cd8d5af907590bff391b29c101344ac2d0

Fix order of module initialization

- Issue:
Event handlers in MMI core modules are not worked properly.

- Solution:
The events provider values are created by modality provider module, but
MMI core module was initilized before modality provider creates those
event values. To solve this problem, this patch reoders the
initialization that MMI manager initializes the modality provider module
first before initializing MMI core module.

Change-Id: Ic64b8de0772fac79ab2807209b2c9634baf2cd62
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Implement logic for sending output modality and result

- Requirement:
MMI core module needs to send output result and modality to proper
client app and output modality provider.

- Solution:
This patch adds new logic for sending output result and modality to
client app and output modality provider. For this change, this patch
also fixes interface of output result callback of IU module.

Change-Id: Ib61141ec9c9b6b249f2836f277f81b5a12061eef
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Add remained pixels to grids which are end of right and bottom

Change-Id: I1202a655f81c33047c6a55d8b2242b87157d40ad
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Use reference type for iteration and initialize memeber with proper value

Change-Id: Idde632226e16e67d5aaed5dfcab0371339510d77
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Add voice touch intent understanding module

- Requirement:
IU module needs to handle voice touch event.

- Solution:
This patch adds new class which name is VoiceTouchEngine. This new class
is for handling voice touch event using CommandManager class. In order
to use this new class, this patch also fixes the mmi_iu module refer to
VoiceTouchEngine.

Change-Id: I68195c92faf11b2723a987db9a008000d449f394
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

add free about input_result_callback in client module

when error occured, it needs to free the storage returned from calloc.
So, it add free about input_result_callback

Change-Id: If28aeb37c856ad1c7796c386c598fde44ff83350

remove related fusion module

remove ref-fusion module, mmi-fusion in mmimgr.
also, remove ref-fusion-tests.

Change-Id: Ic1f734096e34d8fab99a632011b0ce06de013968

restructure about code which related tidl interface

- tidl interface changed, following the design change.
- this patch removes not used callback functions in mmi-api-handler,
   and in mmi-client, mmi-manager.
- this patch add new callbacks for handling tidl logics.

Change-Id: I9545543febedbd46a762a68cecb8bc03a76c74cd

Fix interface name

- Issue:
In a new architecture for voice touch, the concept of intent is not
used.

- Solution:
This patch changes the term of intent to result and modality. This is
because the concept of intent is not used in a new architecture for
voice touch feature.

Change-Id: Id2229d1c19bdc940ee2501d6b669cce20601d8f7
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Remove unnecessary key

Change-Id: I5287c203abe3980591994ac002401c56fdbc77c5
Signed-off-by: sooyeon <sooyeon.kim@samsung.com>

Change variable names

Change-Id: Ibf6e92a76c59e78e80e3f2d674860a5eb51531d5
Signed-off-by: sooyeon <sooyeon.kim@samsung.com>

Change output event json format

Change-Id: I4fd42d2c3fe89c2c9f42492ed6061f9546704910
Signed-off-by: sooyeon <sooyeon.kim@samsung.com>

output_modality : add output modality voice touch

Change-Id: Icc34123eed47d36220e40d37d95a1a59388b0026

Fix enum value and Add underscore prefix to internal function

Change-Id: If6f8cf699fb5e5d6d5851414151eb68883bb59a4
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Add default value of input event type enum

Change-Id: I0048833859d73f8cf17e8385a34ecf62c3957e98
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Refactor input/output interface

- Requirement:
mmi_core needs to control the data and flow between input modality,
output modality, and IU module.

- Solution:
This patch removes mmi-iu-bridge module and move the code from
mmi-iu-bridge to mmi-core module. And also, this patch adds new event
type for screen analyzer modality and voice touch event.

Change-Id: I6a75870a1d398c927872993e04d1f56d7d514c9f
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Change API name (setInfoClickableObject -> add InfoClickableObject)

Change-Id: I28985754b24caa70044f2d9a33df8286c964bbef
Signed-off-by: sooyeon <sooyeon.kim@samsung.com>

Add json provider in IU

Change-Id: I8f12b90e58e7a99bf7713395680fd8b4681e7bd5
Signed-off-by: sooyeon <sooyeon.kim@samsung.com>

Merge changes I783ea295,I278b7c11,I025e5eb4,Ib6a18a5a,I91cce2a1, ... into tizen

* changes:
  Fix boiler plate to apache license version
  Add unittests for CommandManager and CommandFinder
  Fix parameter type, segfault, logs, and minor issues
  Replace Command class to ClickableItem
  Fix typo
  Add new class for managing voice touch command

Fix boiler plate to apache license version

Change-Id: I783ea2955dd2f4c48bf8d110678d7ffd2127edcf
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Add unittests for CommandManager and CommandFinder

Change-Id: I278b7c11b3ad4c247b9598e648cdd3d0858140e5
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Fix parameter type, segfault, logs, and minor issues

This patch includes these changes:
- Use reference type parameter for reducing copy time
- Add logs for better debugging
- Remove overflowed array access
- Remove null pointer access
- Fix error handling logic

Change-Id: I025e5eb4edb0749a8f0b52a8ade08ce461961562
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Replace Command class to ClickableItem

Change-Id: Ib6a18a5a3460a381bf899bbeda05f3501a4e7e83
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Fix typo

Change-Id: I91cce2a1fc8835bcfd04e6680017c015438dabbb
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Add new class for managing voice touch command

- Requirement:
MMI manager needs to manage clickable object in current window for voice
touch implementation.

- Implementation:
This patch adds new classes for managing clickable object as commands of
voice touch. Through these new classes, MMI manager can manage and find
commands related the text that user says. The initial algorith for
finding command uses Levenshtein distance as similarity matric.

Change-Id: I388b1ec15ab61c522d2bf6a227bcbfeae725cc89
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Add new member for asr result event

Change-Id: I8ea7cb5733c40df58317abfc2d6a63c83f200c8a
Signed-off-by: Suyeon Hwang <stom.hwang@samsung.com>

Update version(0.1.1)

Change-Id: I616edaba20335de8e8852e80ee0128204a3b7c74

add xml

Change-Id: I52f81492b29b25d7fd8250044c8cb07d008e516f

add eventtype of voice for screen-analyzer, add key grab, add capability type

Change-Id: Iaee89ad3ef3fb0cd92061308c1ae5ecc6b9f37b8

Rename MMI_FW to MMI because the tidl module is for application

Change-Id: Ic7e158fe9c6da418cdf576e5543b93418eb49d1e
Signed-off-by: sungwook79.park <sungwook79.park@samsung.com>

mmi-client : destroy action_event_h when returned by fail

Change-Id: Id0009e397214c63546b7506b4dad7d90a43c5244