Hack: add one empty test case to the empty results.

Jenkins will not consider the empty results.xml if it is
completely devoid of test results, so an empty test case is added.

Change-Id: I58cddf30ae5207be24fb751c9b373ae5846d4ffb

Provide empty test details when testing is not run.

The field for test details must be filled with an empty string,
when there are no details available, because the test was not
executed.

Change-Id: I2a0dc4d715942e622af88688cf642bfdc4a9989f

Fix the bug about accepting muliple packages.

When accept/reject group submission, jenkins will accepts/rejects
muliple packages. There are the different sourcepackages and targetpackages.
we shouldn't use the same sourcepackage and targetpackage to work,
when accept/reject. So add them into the matched project.

Change-Id: Ie2e17897a3548f750e12dd79fb8f75e11138c3bd

Copy maintainer to their prerelease projects

Fixes: #2297

Change-Id: Ibd006df0061a95f376d1130be4c18cf29bcceccb
Signed-off-by: Xu Chang <changx.xu@intel.com>

Fix comments formatting.

Change-Id: I91d94d3a27fc0d316fd199dca902947cb973ccb1

Improve Error handling.

In case some of the expected parameters is missing,
survive and report it.

Change-Id: I608947b2a387735911544cf6aa49d96ea74434f9

job_re: make output parseable

Output of job_re is parsed by post-build groovy script.

This change adds "Submission xxxx has been yyyy" to the output to make
the output always parseable.

Change-Id: I70ce4de990ffd076df068420f748e8da651bc516
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Implement locking and unlocking submissions

Implemented by disabling/enabling build globaly
for prerelease project.

Fixes: #2298

Change-Id: Ib7f072cd919b6495bb4a364fd9048031a7c8dddf
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

buildservice: Implement set_global_flag

Implemented enabling and disabling of global OBS flags
publish,build,useforbuild,debuginfo.

This functionality will be used in job_re for locking and
unlocking prerelease projects.

Change-Id: I272d77612515e944b7c5ef73af2c4998bdb3346c
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

job_re: implement rebuilding of submission

Implemented by triggering gbs service for specified package or
all packages found in submission.
This causes re-exporting of sources, which is detected by
OBS. OBS then rebuilds updated package(s).

Fixes: #2060

Change-Id: I05bbcadd0deee4f3a47d613b2bcb04b9e1dbd0b0
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

job_re: implement removing submission

Implemented by removing prerelease project.

Fixes: #2307

Change-Id: I051f099f2f3cb859805e7b330934794cdc603f30
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Add placehoders for new actions

Printed 'Not implemented' messages for 'rebuild' and 'remove' actions.
Raised exception for unsupported actions.

Change-Id: I1c5955030aa0fa9f8943dab33a41e9b6c3ee6fca

Rename job_accept_or_reject.py -> job_re.py

This script will be doing more than just accepting and rejecting
submissions. It will at least support rebuilding and removing
submissions. So it's better to give it more appropriate name.

Change-Id: I788c9acbcf3ae81fd2a7fd23c6acc00bd51a3ca8
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

buildservice: Add put_source_path API

Added new API put_source_path to put content using source OBS API.
This API will be used in job_sync_obs.

Change-Id: Ia4c7246b0f1e93c729bf9ced2c81aedbd4d5aa1e
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

buildservice: Add get_source_path API

Added new API get_source_path to get content from source OBS API.
This API will be used in job_sync_obs.

Modified get_src_file_content to use get_source_path
to avoid code duplication.

Change-Id: Ie2276c772544392e8b10d60813f54ffe287963b0
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Add job_sync_obs script

Script syncs content of scm/meta/obs to OBS.
It's called from sync-obs job.

Script has a dry-run mode, which is turned on by configuration option
SYNC_OBS_DRYRUN=1 in jobs/configuration. In this mode it only prints
the difference, but does not sync it to OBS. This mode should be
turned on for first deployment.

Fixes: #1887

Change-Id: I1d6d0c3daa64b97f2bde9f9401b78a0aac65b777
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Use id of SR to get more info from OBS by osc api.

The upgraded OBS for 2.5 version will provide a few info,
it is less than previous version.But we need more info to
work in request job. We can request the osc api to
get more data by 'id'.

Fixes: #2075

Change-Id: I41b62a5a437a5fe375a1c19d9cfdb96c7fca1e78

Fix the bug about checking submit tag name.

If tag is 'submit/tizen/mobile/20141119.110835', we get the 'tizen' branch
by parsing the tag name. In fact, we should get 'tizen/mobile' branch.

Fixes: #2245

Change-Id: I89ba0ccef0ff823234c1604df7a828ac355453e9

Add a new doc about release note in JJ.

Fixes: #2259

Change-Id: I89797cf30a0da99bc0ee49546899a7a2830109e2

Fix the aggregate packages are always broken state.

In a prerelease project (not related to aggregate packages),
the aggregate packages linked from the main project are always
in broken state.Keep the meta of aggregate packages are the same
as the main project to solve it.

Change-Id: Iad5e7365150701fa832ed0b3f2de2d47c8acd927
Fixes: #2188

Catch GitRepositoryError exception.

When running git checkout is failed, it maybe raise a GitRepositoryError
in job_load_repos.yaml.py.It should be catched.

Fixes: #2144

Change-Id: I0e64a69c5dfe1ebc0e46d1007b7a6575a53959c5

Get csrftoken from login page

Since sign in form has been deleted from home page, and there is no
csrftoken on home page. So get it from login page.

Change-Id: Icedc51d8578f5a209089b43bfb9440640c95e42c

Add new function to replace the xml2obj

Change-Id: Id2d208fd2cfa9ab64e19827775bfdb852c650504

Add 2014 into the license title.

Change-Id: I9982b9f786e8f1b6b69411b7cd9160b0fe4d0b61

Add header of inbundle function xml2obj

Change-Id: I0190f83f571fc03e17800f371140871a139e4f6e
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

Update the license to GPLv2

Change-Id: I905bb9e9baee9638a1daccd525d91c28144f3355
Fixes: #2231

Fix duplicate prefix on package version.

Duplicate prefix on package version on prerelease project.
Eg: The error prefix:
    Modello-Homescreen-0.0.2-20141111.000000.20141111.20141111.000000.1.1.noarch.rpm
    We should create the prefix, like this:
    Modello-Homescreen-0.0.2-20141111.000000.1.1.noarch.rpm

Fixes: #2218

Change-Id: Ie9d552628eefd799a4983c40b137585fba66cb40

Add download url, obs url to meta

Change-Id: If52205e06fd783debe3f780650d2ca3ddc26ffb3
Fixes: #1732

Make Pylint happier.

This patch removes a handful of pylint warning:
* indentations
* unused imports and variables

It also replace the error code with its symbolic counterpart,
to make the code more readable.

Change-Id: Ib4910068be77ca694632f7559bc105a012b7e68e

Move image filtering to tester job.

To simplify the interaction between jobs, the tester job_will
be executed with all the images produced.

The tester job will perform the filtering, deciding which images to
download and test.

Empty data will be providedi for images that are not supported.

Change-Id: I554e51e9125dadc522e45351e14b70df4f757775

Transition to logging facility.

Use logging library.

Change-Id: I4331d7b1ac08f6d8c16e95899b1b4e1d4179e5c0

Remove HACK for BOSS. BOSS is dead \o/

The code is not needed anymore.

Change-Id: I1465395b88d2df98d6ab2d65afb50eb3c7157b41

Delete the ks file message when trigger job-sync-snapdiff

Because if not do like this , when jenkins use the data as a shell
command's parameter , it will cause an error because of the too long
data .

Change-Id: Ie73c3dff6d33900910fee3d2839c88659d73f186

Generate MAC address by random.

Using the simple random number instead of the global variables
to generate a MAC address.

Change-Id: If3700e1374e1be4410f7504659348dddd1a24637
Fixes: 2132

Change release name in prjconf from OBS.

Set release tag in prjconf so that the rpm version
in target project will be greater than those in the base project.
To solve the issue 'package version in prerelease project must be
higher than in target project'

Change-Id: Icdc2cc40befcd370b61bc6df3c33ace9aebfdb1c
Fixes: #1846

Add MAC addrees into mic-appliance.

When create imager, Mic-appliance is started without specified MAC address.
As the result, all mic-appliance instances that run in same network,
get also same default MAC address.
This potentially leads to collisions and conflicts in addressing
mic-appliance VM sessions.
So need to add unique MAC addresses, when run mic-appliance.

Fixes: #2132

Change-Id: I870798cabb8f6043a4a0182619b8e49c04fdba59

Ignore verifying the SSL certificate

Change-Id: If3211a1b60c2bbef86513b0c6eed142838619aea
Signed-off-by: gaoxuesx <xuesongx.gao@intel.com>

Provide a open OBS url to IRIS.

In 'package built' event, jenkins jobs publish a private url
to IRIS, others can't get access to it.
So change it to an open url.

Fixes: #2164

Change-Id: Ia87d9af4d13e611083b0fa23c5162c87a497d78b

Modify the testcase for the new gbp version(0.6.15)

Change-Id: If6884072f0ab974f486d9e8a1bf779c1a93ad47a

Change the filter to trigger post-image-creation

All project will trigger the post-image-creation in job_image.py
to provide more image info for IRIS.

Change-Id: Ib20875a4f433790df923941f87e2e2c29c73c17a

Publish 'image_created' event to IRIS.

Add 'image_created' event after running image job.

Change-Id: I0d347b045c67b19d660a97fb908346b721873cc7

Publish 'image_building' event to IRIS.

Add 'image_building' event before trigger image job.

Change-Id: Ie68daaf8a93388646f82a0fc1f69c0e71eec8b89

Publish 'repa action' event to IRIS

Publish 'repa action' event when a pre-project is accepted/rejected
by repa.

Change-Id: Ia5d7968793aba0a124ea78f82e4e10b70e4213e6

Publish 'rpm build' event to IRIS

Add a job to get the result of being built rpm.

Change-Id: Ie3b823e48c0e942cd3c2da501ea6862614df4f1e

Publish 'pre_created' event to IRIS

Publish 'pre_created' event when a pre_project is
created for a submission tag

Change-Id: Ib824f46e7d1163b18d780e395328ff2e1ee56eab

Import get_python_lib to pornt the python module.

Change-Id: I1e200794582248a07cb18fcd19123a0d5ae3885a

Catch exceptions for IrisRestClient.

Print exception when execption raised in IrisRestClient code. But
don't break original workflow.

Also change event type into a part of url, so it's more easier
to see that in access log.

Change-Id: Idca9874e4904366b3333d57b6be531548e0e8401

Remove some useless code

Change-Id: Ic7a22b7be9761074c7d4a3e666674a47337ceb8c
Signed-off-by: gaoxuesx <xuesongx.gao@intel.com>

Publish "submitted" event to IRIS.

Add a new function publish_event() in IrisRestClient class.

Use this function to publish "submitted" event when a submission
tag is just received.

Change-Id: I2a23b6b221e79dcb6b99bc78fd0126516407fae4

Stop writing to /etc/repos/repos.yaml

As BOSS is no more we don't need to write this file. It was used only by
BOSS participants.

Change-Id: I757f206f2421d671810697cf695f7f9b8c1615d3
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Login immediately when client is created.

Usually we have to login otherwise request always fails.

Change-Id: Ibe67204987f09cd1cf32cf274ce88515e1e39d33

To use "--delay-updates" for rsync for atomic sync

Sometime, the users noticed the images in download server have wrong
md5sum and cannot boot. It's possible it's a partial downloaded file,
caused by atomic rsyncing problem. This rsync command line option
will help it.

Change-Id: I9ef2344cd01594fb33080feaaa193714cb4a5570
Signed-off-by: JF Ding <jian-feng.ding@intel.com>

job_accept_or_reject: Fixed bug in state name

Valid state name for SR is 'declined'. The code was using 'rejected',
which caused 'Bad request' OBS response.

Change-Id: I464befb33f21d9a13929d99632535833971f39c0
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Fix a bug about requesting git-obs-mapping.xml

Change-Id: I07891b714a8a0407f63472fc11e79479bc775124

Fix potential issue on git-obs-mapping query

When search on default section, project name will be joined with prefix '/'
automatically. So it should do the same action to path name to support missed
prefix '/' issue.

Change-Id: I21a48c1b845d23b80a72a207dcdeb942067a9892
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

Support no particular project setting

In special case, git-obs-mapping.xml doesn't contain the setting section for
particular projects. The script will crash when query mapping on such file.
It should check whether this section exists at first.

Fixes: #2111

Change-Id: Ib9a80ca135e311b8f8b103298ec300a3a7ba9e42
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

Add trailing slash to POST URL

We called this URL via POST, but the URL doesn't end in a slash,
Django can't redirect to the slash URL while maintaining POST data.

Change-Id: Id1de27deabd096679233057091fc4891e2d431c0
Signed-off-by: gaoxuesx <xuesongx.gao@intel.com>

rename requests to obs_request

Change-Id: Iab87c78fd5097e2ca22432afc93fabaf61964640

Only allow 'prerelease' type into pre-workflow.

If obs_stg_prj from git-obs-mapping.xml is not 'prerelease',
it should not be executed prerelease workflow in job_submit.py.

Fixes: #2073

Change-Id: Ide4f0aebf035bbaf77e672e88bb29dd0eada91aa

Implemented new job job_accept_or_reject

This job will be run by RE. It doesn't require RE to be maintainer of
the target project as it uses maintainer account for its operations.

Fixes: #1886

Change-Id: I77d38377c1b9a9d4646aeae94ba77d4c22f61b19
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Implemented create_sr and set_sr_state

Extended buildservice API to create SR and change SR status. Both
methods will be used in the new job for accepting or rejecting SRs.

Change-Id: Ic38473ab99f2185fe32bda29eaaa18a654cd167c
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Removing redundant git clone operation.

This script use common.git.fetch_change() to create an empty
local git repository and then fetch change from Gerrit.

So the clone operation is totally useless. Removing it will save
more time.

Change-Id: Ia5583e1d3b7f3b342fd9cf68651afb3059e482d3

Changing the exit code of scm check script.

If scm check/update found errors in scm text, it should return
non-zero, otherwise it should exit with 0.

Removing the try/catch block of GerritError, because if this
error happens, then we can't see comments from Gerrit. So just
keep the traceback in Jenkins console, it's better for debugging.

Returns 0 if http status code is 2XX, otherwise it means error
happens, then we should return non-zero.

Change-Id: I4cb7c01ad95e6185c1236e8933d59f6005ad8b8f
Fixes: #2106

Convert GERRIT_SILENT_MODE to int

GERRIT_SILENT_MODE must be int type.
Improve the scm_check feature.

Change-Id: I7e25c0b8265ec8f489c8a224920da561f2f48897
Signed-off-by: gaoxuesx <xuesongx.gao@intel.com>

Add fetch and check change feature

We can use fetch_change function to check out one change.

Change-Id: Ie836c1f287fcd438632116cdf39d78ce2da35da4
Signed-off-by: gaoxuesx <xuesongx.gao@intel.com>

Modify the way of using 'request_accepted'.

Don't return anything, when calling the function of reqeust_accepted.

Change-Id: I4fd7492bed1bda634bf299c2a4b4165e00ef1cb8

Make the scm script name to be more professional

Change-Id: Ib0f508ed37250df559e05711b1a76bd9812246c8
Signed-off-by: gaoxuesx <xuesongx.gao@intel.com>

Add gbs-api into the dependency list of jenkins.

Although we have got rid of dependency of gbs,
Jenkins depends on gbs-api.So gbs-api should
be add into the dependency list of jenkins.

Change-Id: I4c64db4941d35d96b197618029c1f050237e3c01

[draft]Job for syncing IRIS data from scm/meta/git project

client.py is IRIS Client which is a wrap of python requests,
it against CSRF protection.
This job will clone scm/meta/git project then check domains and
git-trees files syntax and update them to IRIS by call IRIS Client.

Change-Id: I9722faf15f0bf7b7bb18142c0073062d96a46b34
Signed-off-by: gaoxuesx <xuesongx.gao@intel.com>

Test fixed backenddb functionality

Added tests to ensure that old fields are cleaned up
when reading repos.

References: #2070

Change-Id: Ie9526c9feacd1105d071a2086101f523623fff0a
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

test_backenddb: Implement hdel

This API is required by fixed version of backenddb:Entity.__setitem__

Change-Id: Ia8739a1008801e9ed8f6e4c8a9abb33da510fe8b
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Fix setting hash values

As hmset call doesn't remove old values this fuctionality
worked incorrectly and old values were not removed.

For example, removing 'PrereleaseDir' from repos.yaml and loading
it to the database was not removing this field in Redis.

Fixes: #2070

Change-Id: Ida42bd2a24a128b0f82f67bcc2a3b3905ff49920
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

backenddb: Fix error in Entity.__getitem__

Used deepcopy to avoid modifications of the same dictionary.
This error broke tests in a very strange way: second call
of Entity.__getitem__ raised json exception.

Change-Id: I2ef33d67c4e046d24133d9f60ac5f92d9c5dd4fe
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Fixed mock implementation of hgetall

python-redis:hgetall returns empty dictionary if key doesn't exist.
This commit fixes this in mock. Previously it returned None in this
case.

Change-Id: I76f38d15d3918f0b7bbd41d9f3e1907f5e3b61db
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Get rid of dependency of 'gbs'.

Jenkins scripts job_buildcheck_post.py job_policycheck.py
is unused for us. They should be removed. And get rid of
dependency of 'gbs', the test case about 'gbs' should be
also removed.

Fixes: #1546

Change-Id: I65e9596d35fba8c0bc6ad526cb2ea46a7176acf0

Fix the wrong close paren

Change-Id: I0061645278b04fd7b443cff11d246e15de5bba79

Delete the no use parameter.

The judgement of buildconf will leads to all repo use the same buildconf

Fixes: #2066

Change-Id: I07719e52dc2a55ab67741e4a45330df12a36f962

Remove the void prerelease snapshots

Fixes #1665

Change-Id: I99ae4528dc16929916eb29fcafdbbc4f5e7be805

Add execute permission to release_snapshot job

The job_release_snapshot.py script is the only one on top level of package
is not executable. Fix it to align with others.

Change-Id: I382bfd38bc5b57be9dbd270ce1b4be872fe1d81b
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

Job syncsnapdiff use hard code to search last buildid

1.Add exception log
2.Use release name instead of the hard code for searching
  last build id

Fixes #2054

Change-Id: Iaec84cc6e706b6465c1a1998548b183543095f7a

comment out the url description in manifest files

Change-Id: Ib4e2c01d5e47c4b3097c4553aff8e6c66e0ed508
Fixes: #2030

Remove commit id in message.

The repa wouldn't provide the commit id.
And it is not important to show for submitter.
So it shuold be removed.

Change-Id: Ife84eb6be9ce355f70da193a7cef6b128431c056

', ' replaces ',' to separate the projects name.

Change-Id: Ia1c853c396bcf1dc2df42c82b88309d3561fdecc

Add return proper result when syncing

When rsync to download server, this job should return
proper result

Change-Id: I2779d7b3ea3a9e14a0ffdd41a975361ef0a6d085
Fixes: #2045

Modify the data structure for new description info.

When accept group submission, repa will only list the first one
on project name list in the previous. So jenkins can't get
complete project name list to update accepted branch on them.
Now the latest released repa will list the all projects name.
To be compatible the old and the new, so should modify it.
As below, the old formate and the new:
{"description": "project: platform/upstream/e2fsprogs"} -->
{"description": "project: [platform/upstream/e2fsprogs,
                           profile/ivi/meta-ivi]"}

Fixes: #2025

Change-Id: I9392d485484383233d43c78faf278c126f26de0f

gbs-service: enable 'error-pkg' parameter

Enable the the generation of a special "error package" (instead of a
service error) in case of gbs export failures.

Only catches service return value 2, i.e. "normal" gbs export failures.
Internal service errors (1) and gbs crashes (3) still cause a service
error as these can be considered as bugs and we want to catch these.

Change-Id: Ied7bc8010351026e047e368be97bb71a9da3ee1e
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Update bare repository failed .

1. If the remote origin url is incorrect , re-clone.
2. If the remote origin url does not exsits re-clone.

Change-Id: I35e6ff2081a96e5da84a3db7b8d6e05dd24f5676

Use xml.sax module to solve the encode issue

xml.sax module as a better substitute for the 'replace' property of string,
to solve the encode issue.

Change-Id: I167a217895536adfb58ecd9b320f510ecda5e9de

Improve logging and archiving.

Produces more meaningful messages and
stores the test results only when present.

Change-Id: I4cf695f299fcfe2fe91758093b34e3314d6b171b

Add clarification comment in testing job.

Change-Id: Id9cfbe9f4db3c12fa36c94889c3f5bc74bb04695

Publish test results to OBS

Fix parameters passed down from imager job,
through tester and add job for publishing results to OBS.

Change-Id: I96c2d6f1226c3259e1ea1dcbf696e8b20f0f2358

Reduce wget output when downloading.

Change-Id: I2492da49ec9c69b49ce9f55178d47906acf29c4d

Create a tarball with the results of the testing.

Change-Id: Iebbbee94306e11a616fb3da2daa00fa3458eb968

Fix the ascii encode issue about sending mail

When we send mail to submitter,need a specific format of address
in job_request.py.Sometimes it maybe have the escape character,
that causes the encode issue.We should check and change it.
eg:
  '&lt;stephane.desneux@open.eurogiciel.org&gt;' should be changed to
  '<stephane.desneux@open.eurogiciel.org>'

Fixes: #2010

Change-Id: Ib0d1b0c32f37a2a1f007ac8bc5e319f98f1175db

Add two blanks to ensure manifest can work

Fixes #2006

Change-Id: I4c47af02beaa25f7af7f423b0e5e45c3e19721a8

 Catch the exception come from delete obs project/package

1. Ensure it is exist before delete it.
2. Try it .

Change-Id: Ia31960382d7e317d98672bc844b7f945862a1dbf
Fixes: #2001

support multiply version of rpm packages in manifest

If two versions of one package both exist on repo, jenkins will
use the latter one overwrite the previous on when generating
manifest. A more direct method is jenkins insert the info of all
packages in repo into manifest.

Change-Id: I242342ddcfca604d44227ffff7940b015f89f156
Fixes: #2002

Add a filter for updating repos.yaml in job_load_repos.yaml.py

When refname start with 'refs/changes/', should not update.

Fixes: #1957

Change-Id: Ifaf98acb28b15f3a7891aa12216163b4eb5a23de

Fix the IndexError issue for job_sync_snapdiff.py

Maybe not find the matched snapshot, should skip it.

Fixes: #1992

Change-Id: Ic658de194f5db423d1e6fcc7a23f92ac458b79b8

utils/make_latest_link: make the link target a relative path

Absolute paths break mirroring of the server content.

Fixes: TINF-636

Change-Id: I1af46a7ad5f6e98627412bd900c30d5a88fe19ef
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>