Add Config argument to Create of DryadJobManager

Change-Id: I85354ad5e1580d69a1d6ecb31e6e3cbfc567c00c
Signed-off-by: Aleksander Mistewicz <a.mistewicz@samsung.com>

Merge branch 'dryad'

Change-Id: I53430cc296457b031e5315b4c7f05af1fdd9dc33

Rename dryad_session_provider to session_provider

Change-Id: I4e6dbbf5b06606e32cf3aef9e9dd9cb8d4d74134

Use reverse SSHFS instead of scp

It solves the following problems:
 * some files did not fit into tmpfs or root filesystem,
 * some files could not be copied at all due to their contents,
 * paths needed to be translated.

Change-Id: I581ad3ddf22bf2e3e8aec0d2952f34f76ab90a41
Signed-off-by: Aleksander Mistewicz <a.mistewicz@samsung.com>

Make Exec methods variadic

Use mock instead of real implementation of SessionProvider in tests of
DeviceCommunicationProvider.

Change-Id: I6d62145b7982c28f93a2f44d259f0759dfd3dc6a
Signed-off-by: Aleksander Mistewicz <a.mistewicz@samsung.com>

Add reverseSSHFS

It mounts a local directory on a remote consuming one session of ssh
connection. It makes accessing files (even big) easy in the limited
environment provided by Dryad.

Change-Id: I2e881f8e1291bac28331dea584b81dcef92e331a
Signed-off-by: Aleksander Mistewicz <a.mistewicz@samsung.com>

Add DeviceCommunicationProvider implementation

Change-Id: I0b98831d3ee53de05831caf7564363fdf289fcf8
Signed-off-by: Adam Malinowski <a.malinowsk2@partner.samsung.com>
Signed-off-by: Aleksander Mistewicz <a.mistewicz@samsung.com>

Add file transfer functions to SessionProvider

Change-Id: Ief14d76d93bfd041bc9809d0599719859fde69dc
Signed-off-by: Adam Malinowski <a.malinowsk2@partner.samsung.com>

Add SessionManager implementation

MuxPi is needed to perform tests. SSH key needs to be generated and
its private part has to be saved to a local file. To run tests:

ginkgo manager/dryad -- \
    -keyFile=file \
    -address=address \
    -port=port \
    -userName=login

Where:
  file    - path to a file containing private part of SSH key generated
            on Dryad
  address - IP address of Dryad
  port    - SSH port to use for connection with Dryad (default: 22)
  login   - user name for connection with Dryad

Change-Id: I1b4cf55f8082b5b0d9ec1d0311f37f87f35fb753
Signed-off-by: Adam Malinowski <a.malinowsk2@partner.samsung.com>
Signed-off-by: Aleksander Mistewicz <a.mistewicz@samsung.com>

Merge branch 'controller'

Change-Id: I7b318961f834834e5ea1ae22c615e74f8159737e

Add NewJobManager function

NewJobManager function creates new instance of Controller
with all internal submodules. The created structure is returned
as JobManager interface.

This is the only valid method for creation whole Controller module
in Weles and should be used to create Weles service.

Change-Id: I8ff2051a23f714a99fc2642c94e34d247ec164d7
Signed-off-by: Lukasz Wojciechowski <l.wojciechow@partner.samsung.com>

Implement ListJobs in Controller with tests

Implementation enhances JobsController interface and implementation.
The mockup of JobsController is regenerated using:

mockgen -package mock -destination=controller/mock/jobscontroller.go \
        git.tizen.org/tools/weles/controller JobsController

Tests for both JobsControllerImpl and Controller are updated.

Change-Id: Ie30234ac754d19616ce2811e3f30a6834d28e296
Signed-off-by: Lukasz Wojciechowski <l.wojciechow@partner.samsung.com>

Add Controller with tests

Change-Id: I4681c0e085983094f9ce2699617bb9b52d2e086a
Signed-off-by: Lukasz Wojciechowski <l.wojciechow@partner.samsung.com>

Merge branch 'manager'

Change-Id: I950cbd5ee07bb735ca5a8cfd46b1239039a70b31
Signed-off-by: Pawel Wieczorek <p.wieczorek2@samsung.com>

Implement List with table driven tests

Change-Id: Ifccf613b89cb6a21d4229b15affb533c0bb95de4
Signed-off-by: Aleksander Mistewicz <a.mistewicz@samsung.com>

Add tests for panic recovery of dryadJob

Change-Id: I7ac9ccb609a77ff5d0e4635c5d91e23cc88fd4ae
Signed-off-by: Aleksander Mistewicz <a.mistewicz@samsung.com>

Add more complicated tests of dryadJob

Change-Id: Ie015609731c8f25ecfe6bff31414f18390494e3b
Signed-off-by: Aleksander Mistewicz <a.mistewicz@samsung.com>

Use mockups of generated interfaces in tests

Change-Id: I77760fa2028e3c096929e82683c8024e01ee3c06
Signed-off-by: Aleksander Mistewicz <a.mistewicz@samsung.com>

Add generated mock of DryadJobRunner

Command used:
    mockgen -source=manager/manager.go \
            -destination=manager/mock_dryad_job_runner_test.go \
            -package manager

Change-Id: I015e79a3db12db02e2423bc6ce05cf4e9dfb6555
Signed-off-by: Aleksander Mistewicz <a.mistewicz@samsung.com>

Add generated mock of interfaces in manager/dryad

Command used:
    mockgen -source=manager/dryad/dryad.go \
            -destination=manager/mock_dryad_test.go \
            -package manager

Change-Id: I15860362b8fc144ddd9efe05e03efef2f5ebf03f
Signed-off-by: Aleksander Mistewicz <a.mistewicz@samsung.com>

Add generated mocks for controller's internals

mockgen -package mock -destination=controller/mock/boruter.go \
git.tizen.org/tools/weles/controller Boruter
mockgen -package mock -destination=controller/mock/downloader.go \
git.tizen.org/tools/weles/controller Downloader
mockgen -package mock -destination=controller/mock/dryader.go \
git.tizen.org/tools/weles/controller Dryader
mockgen -package mock -destination=controller/mock/parser.go \
git.tizen.org/tools/weles/controller Parser

Change-Id: Ie5fd939e0082c0f7975d2dbc416d730f28c311eb
Signed-off-by: Lukasz Wojciechowski <l.wojciechow@partner.samsung.com>

Add Dryader implementation with tests

DryaderImpl implements delegation and control of Job execution
in DryadJobManager.

Change-Id: I7d30f21bf0f838829f6c2d0b65362a6d7b66d0a3
Signed-off-by: Lukasz Wojciechowski <l.wojciechow@partner.samsung.com>

Add Dryader interface

Dryder interface allows delegation of Job execution and cancelation
to DryadJobManager.

Change-Id: I866f8290dc51d24ab65e2671edf306fc33f2e3c9
Signed-off-by: Lukasz Wojciechowski <l.wojciechow@partner.samsung.com>

Add Boruter implementation with tests

BoruterImpl implements communication with Boruta. It is used
for acquiring, monitoring and releasing Dryads for Weles' Jobs.

Change-Id: I91667cad4ccac176e4e01c697e2dbfbe7b54cfd3
Signed-off-by: Lukasz Wojciechowski <l.wojciechow@partner.samsung.com>

Add Boruter interface

Boruter defines interface for delegation of communication with Boruta.
Communication is used for acquiring, monitoring and releasing Dryads.

Change-Id: Id6c310220839c1d196f86b8c86123cd1a720f526
Signed-off-by: Lukasz Wojciechowski <l.wojciechow@partner.samsung.com>

Add generated mockup for boruta.Requests

mockgen -package mock -destination=controller/mock/requests.go \
git.tizen.org/tools/boruta Requests

Change-Id: I3cd7673db7ff0eb5e7fb3ead8ea3d31a83430bee
Signed-off-by: Lukasz Wojciechowski <l.wojciechow@partner.samsung.com>

Add Downloader implementation with tests

DownloaderImpl is responsible for parsing Job's config and searching
for information about files (artifacts) related to the test.
It delegates to ArtifactsManager downloading images and testfiles
required to run Job (Push). It creates also paths for output
artifacts (Pull). It updates Job's config with proper paths
for these artifacts.

It does also monitor process of downloading files in ArtifactManager
and finally it notifies Controller when all files are downloaded
or in case of failure.

Change-Id: I578108dd1a924aaf36435e4dbc5d8dcce50214ee
Signed-off-by: Lukasz Wojciechowski <l.wojciechow@partner.samsung.com>

Add Downloader interface

Downloader defines action run for a Job to download artifacts required
to run the Job.

Change-Id: I932b1630a97dc9573aa0cbf0c4726a91fb042339
Signed-off-by: Lukasz Wojciechowski <l.wojciechow@partner.samsung.com>

Add Parser implementation with tests

ParserImpl implements parsing phase of Job handling.
It saves yaml file in ArtifactDB, parses it and sets up config.

Change-Id: Icb52b7c1943c29744f82532877aade2bb085c345
Signed-off-by: Lukasz Wojciechowski <l.wojciechow@partner.samsung.com>

Add Parser interface

Parser defines action run for a Job to prepare config in parsing phase.

Change-Id: Iea53d08c89d5fbedf690036688ded53c40349741
Signed-off-by: Lukasz Wojciechowski <l.wojciechow@partner.samsung.com>

Add Notifier implementation with tests

Change-Id: Ib37b4dccf043bb8d5b914b14436929b523446afe
Signed-off-by: Lukasz Wojciechowski <l.wojciechow@partner.samsung.com>

Add Notifier interface

Change-Id: If77ebbe1df6cf2dd49bbee91efee2d8f0b9317d9
Signed-off-by: Lukasz Wojciechowski <l.wojciechow@partner.samsung.com>

Add Notification struct

The structure is used to notify Controller about events occured
during processing a Job.

Change-Id: I38077eda6fc0cb156d8224b5af1280d5b8db88af
Signed-off-by: Lukasz Wojciechowski <l.wojciechow@partner.samsung.com>

Add JobsController implementation with tests

JobsControllerImpl structure stores actual information about all Jobs
such as status, update time, config and Dryad access. It controls
collision free JobID creation. It stores state of Jobs execution
and saves data to DB. It implements JobsController interface.

Patches enhancing tests, written by Aleksander Mistewicz squashed into
this patch.

Change-Id: Ie3e3c46660c650c48cd80a93038b8cdd05f3fc21
Signed-off-by: Lukasz Wojciechowski <l.wojciechow@partner.samsung.com>
Signed-off-by: Aleksander Mistewicz <a.mistewicz@samsung.com>

Add Dryad structure content

Change-Id: Ifb754266fe16ef148fcc5c1dd7d7683b1a2638f2
Signed-off-by: Lukasz Wojciechowski <l.wojciechow@partner.samsung.com>

Add generated mockup for JobsController

mockgen -package mock -destination=controller/mock/jobscontroller.go \
git.tizen.org/tools/weles/controller JobsController

Change-Id: I8b9fff217a683568dcedfd2971b94c23d75a0e4c
Signed-off-by: Lukasz Wojciechowski <l.wojciechow@partner.samsung.com>

Define JobsController interface

JobsController interface is designed for managing Jobs inside Controller.
It is defined to provide additional layer for strict managing Job structures
only. This allows mocking up the interface in tests.

Change-Id: I3fa5054b017f6cd2b6c95f2e5a27acd72b226ee5
Signed-off-by: Lukasz Wojciechowski <l.wojciechow@partner.samsung.com>

Add generated mockups for modules interfaces

mockgen -package mock -destination=mock/artifactmanager.go \
git.tizen.org/tools/weles ArtifactManager
mockgen -package mock -destination=mock/dryadjobmanager.go \
git.tizen.org/tools/weles DryadJobManager
mockgen -package mock -destination=mock/jobmanager.go \
git.tizen.org/tools/weles JobManager
mockgen -package mock -destination=mock/parser.go \
git.tizen.org/tools/weles Parser

Change-Id: I4401a3a64babe1165016baee749bdea296a55a59
Signed-off-by: Lukasz Wojciechowski <l.wojciechow@partner.samsung.com>

Fix typos in JobManager

Change-Id: Ic16bbbb50bd82b0d6b747f05f2fd0c409d2fcf1d
Signed-off-by: Lukasz Wojciechowski <l.wojciechow@partner.samsung.com>

Merge branch 'parser'

Change-Id: Iee519eef6c7f9f61f66d4bdeaa1a28f871ba2ec5
Signed-off-by: Pawel Wieczorek <p.wieczorek2@samsung.com>

Add yaml parser functionality and tests

Change-Id: Iab4513293fbee901798c43f178ded8ee73585c9a
Signed-off-by: Leszek Zygo <l.zygo@samsung.com>

Add Weles parser interface

Change-Id: If5cb8bbdf033233510f847fd3279a32b7d4c3406
Signed-off-by: Leszek Zygo <l.zygo@samsung.com>

Add sample_yaml

Change-Id: Ic20bc4706c4461dc184d373443d85b5378bd3ca3
Signed-off-by: Leszek Zygo <l.zygo@samsung.com>

Define JobManager interface and basic Job types

Change-Id: Ic16bbbb50bd82b0d6b747f05f2fd0c409d2fcf1d
Signed-off-by: Lukasz Wojciechowski <l.wojciechow@partner.samsung.com>

Add ArtifactManager interface

Change-Id: Iaae3b462c525d10b25104d3b29256ac326f3c5a8
Signed-off-by: Katarzyna Gorska <k.gorska@samsung.com>

Define common Weles errors

Change-Id: I392e39b6454128d6000585fba6e8db976dff32c9
Signed-off-by: Lukasz Wojciechowski <l.wojciechow@partner.samsung.com>

Add partial implementation of DryadJobManager

Change-Id: Iea5ba6512b163d63f0f99fcb8cf78941ae65f15d
Signed-off-by: Aleksander Mistewicz <a.mistewicz@samsung.com>

Add internal structures of manager package

Change-Id: Ic19879d26dd3ed1f45518474844e51b321b1ff00
Signed-off-by: Aleksander Mistewicz <a.mistewicz@samsung.com>

Add basic Weles structure

Each interface, used or implemented by many components, should
be defined in the file with the same name as said interface in
basic, weles, package. Definitions of all non-interface types
related to it should be stored in the same file. The remaining
types, if common to multiple interfaces, should be defined
in main package file: weles.go.

The purpose is to have packages to depend on basic package, but not each
other. Moreover a developer will not need to look into documentation or
search for definition of interface as the location of such definition
will be known by interface's name.

This patch also defines manager's interfaces and structures in described
format.

Change-Id: Ie1bf89c8e7e4af28617cc00f21d6193c4b7517d1
Signed-off-by: Aleksander Mistewicz <a.mistewicz@samsung.com>

Add Apache 2.0 license

Change-Id: I0d89637aba1d8c47892a4869078e492162573007

Initial empty repository