make retry function as decorator

Change-Id: Ibbe7114af871b3cafc2dde6e4085b52e6737f20e
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

move xml2obj to common/utils

Change-Id: Ie4dac18217667e0095cad8c2ca958055c949d656
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

Trigger post snapshot creation jobs after snapshot created

Change-Id: I702320a5eff7af494c1725a0358bbd78a6b574f8
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

Fix an error with the project init

Change-Id: Ic979ab0574df02b23b65f3f9374a2b7bf30fdfc0
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

Fix no logfile exception in buildcheck job

If obs package is in some states, like unresolvable, it will throw exception
when try to fetch build log for this package. And we need to send out build log
only for build failed package.

Fixes: #1429

Change-Id: I3f3754bc7200b15d720d8f23de86015110cd426f
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

Handle gbs commands errors

Before this, gbs errors will be ignored

Fix #1406

Change-Id: I4f0db8902e23567c5ef0615f50279b952a4e654a

Use oscapi directly rather than invoke core.meta_exists

Change-Id: I9b7945c56d385b032cb8b965d2b47c3e7c25e080

Fix import gbp.rpm.parse_spec failure

In gbp new version, it change parse_spec() function name to SpecFile().

Fixes: #1419

Change-Id: I74bb5971080038e89a573dd5b86cc2567600de9f
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

Fix submitobs job cannot send out email

Use ${BUILD_TAG}.env file as file parameter, instead of ${random}.mail.env, to
trigger downstream job mail-sender to match jenkins job conf change.

Fixes: #1422

Change-Id: Ie791588eaadd26036b0e909427023cb07ff5fb91
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

Handle manually created requests in obs

The description section format of requests manually created by admin is
different as default format, so catch this kind of exception when trying parse
the request description and ignore this request.

Fixes: #1397

Change-Id: Ibba0406fa1161cf2f0fc519d545e610e339fecf5
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

Change tools repo to otctools obs repo

To get the latest released tools, change tools dependency repo from tizen.org
repo to otctools obs repo.

Change-Id: I1c5320a89535636e6492d1b45f7128f309dde829
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

Fixed KeyError exception in job_load_repos

This happened in production:
Traceback (most recent call last):
  File "jenkins-scripts/job_load_repos.yaml.py", line 75, in <module>
    sys.exit(main())
  File "jenkins-scripts/job_load_repos.yaml.py", line 70, in main
    update_repos_conf_on_filesystem(os.path.join(prjdir, 'repos.yaml'))
  File "jenkins-scripts/job_load_repos.yaml.py", line 47, in
update_repos_conf_on_filesystem
    repo['SnapshotDir'])
KeyError: 'SnapshotDir'

Change-Id: I8fe89fa7f509f001824215791cee4f24be6e1a9d
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Fix push to heads/accepted/* hierarchy failure

When parse one tag info, it should return the commit id the tag attached, not
the hash number the tag itself.

Fixes: #1395

Change-Id: I7f82c84c35924a42d67dc7b8e17e7c9c48e13b3a
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

Catch git push tag exception

Fixes: #1344

Change-Id: I2b174f5ce142a54353361b6e03c8febfc01472e4
Signed-off-by: Lingchaox Xin <lingchaox.xin@intel.com>

Add a new scripts to generate the buildlogs dir for snapshots

Change-Id: I91934f21fd9c15f7a834312d2ccf4a1dc075bbc6
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

Moved userContent/jenkins-scripts symlink to -common

userContent/jenkins-scripts symlink should be in -common for two
reasons:
 - it's used by also by -sync instances.
 - jenkins-scripts directory exists in -common package

Change-Id: Ia82d4e44c511bd3765da0dc0dee5222624a4d3b0
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Auto create symlinks to jenkins-scripts

In %post section, automatically create symlinks /var/lib/jenkins/userContent/
jenkins-scripts to /var/lib/jenkins/jenkins-scripts.

Fixes: #1356

Change-Id: Ib8972db7bb1db616db377a0c3a4fca5f33e33ee5
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

Deleted job_deletetag

The reason is that we don't need to delete any tags. We may need another
job to delete old tags, but we don't need to delete them just because
the change was rejected like job_deletetag does.

Moreover job_deletetag has bugs. It may end up in infinite loop if it
can't force push to git repo. Removing the job automatically fixes this
issue.

Fixes: #1379

Change-Id: I182f8abdaa6f656edc8bb686698fffebbfa41092
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Improved error handling in job_mail_sender

Now jobs performs sanity check for configuration parameters and returns
1 if it fails.

Fixes: #1225

Change-Id: I4c7223589ec601f22b1675f75dacaa1388e05c33
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Created Snapshot and Prerelease classes

Snapshot and Prerelease classes provide simple OO interface to Snapshot
and Prerelease metadata. Previously get_repo_data function was used, but
it was hard to read and snapshot and prerelease data was mixed there.
That complexity was the first reason to replace it with Snapshot and
Prerelease classes.

Another reason was snapshot increment. It would be quite hard to
implement it using functions. Object oriented approach makes it simpler
to implement and more readable.

Change-Id: I1f77e3de047cd6666df30a3f40040115a9554b1f
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Fixed typo in method name

mailer.py: Using get method: req.req -> req.get

Change-Id: Ia53384e1af4bb2b346ffac051495b69b52b8f172
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Support multiply levels branch name in submit tag

Branch name maybe contain '/', like devel/efl. Originly, submission with tag
submit/devel/efl/20131009.205635 is treated as
submit branch: devel date: efl/20131009.205635 instead of
submit branch: devel/efl date:20131009.205635.

Fixes: #1378

Change-Id: I57abe3cf1022535ff7e77bf7cefd88a198ce262f
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

Ignore the project delete event for non-prerelease project

Fixes: #1338

Change-Id: I10bb70260a4f04ce0cd38e69bd8759024e67d965
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

Isolated job_submitobs to separate package

This change resolves conflicting runtime dependencies:

jenkins-scripts-tzs -> jenkins-scripts-common(with job_submitobs) -> gbs
-> depanneur -> modified build and obs-server -> build

The reason of the conflict is that jenkins-scripts-tzs package has to be
installed on the same host as obs-server because tzs appliance is one
computer with all services(Jenkins, OBS, Gerrit) installed on it.

So, job_submitobs should be removed from -common to avoid conflicts
between our modified build and non-modified build, required by
obs-server.

This complicated packaging issue can be resolved by moving job_submitobs
to separate package jenkins-scripts-submitobs.

This is funny in a sense that jenkins-scripts doesn't require gbs build
functionality, which depends on depanneur and build.

Note that this is temporary solution. There are at least 2 solutions to
this issue:

1. Upgrade our build package to the version, required by obs-server
(also temporary until the time when OBS depends on newer build)

2. - Move gbs remotebuild API to separate package
   - Add dependency to gbs-remotebuid to jenkins-scripts
   - Use gbs export and gbs remotebuild API in jenkinkins scripts
   - Move job_sumbitobs back to jenkins-scripts-common

Even better would be to start using gbs service instead of gbs export in
job_submitobs. gbs remotebuild is still required, but gbs export is not
required in this case.

Change-Id: I0395e69000bc5695546c719a020cacf2bb77c3bc
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Added tzs appliance package

Added jenkins-scripts-tzs binary package. Moved scripts, used in
jenkins-scripts and jenkins-scripts-tzs to -common.

Change-Id: I526884d4ff39147c536e14deeb6ecaa4a918c2ce
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Implemented job_create_snapshot

Job converts live OBS repo to snapshot repo, extracts .ks files from it
and triggers images creation.

This job is a next step towards replacing repomaker. It does the same as
boss-participant-repomaker.

Change-Id: Ibfc684123acc159821e8485451f9b7b546d2b232
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Fixed mistake in constructing snapshot_path

Fixed snapshot path generation. Repomaker now makes repo in the right
location.

Change-Id: I59ff093d02fab32d5ee98346bb1ebb4808314b13
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

job_submit: Check if target project exists

In snapshot mode there is no need for all target projects to exist. If
some of the projects don't exist job_submit should still be able to
submit to those projects, which exist.

In applience mode it's even more important as applience usually has only
one target project in OBS.

Change-Id: I1aee31688434a441dfa11fb9e2a0c6b55c8c04e5
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Added snapshot_dir to get_repo_data's return value

This field will be used by snapshot creation functionality. As
get_repo_data used in 2 places: snapshot creation and prerelease, it
should return all values used in both workflows.

Change-Id: I967ce538b5a7811bd3acf356c8249bd73bc5587a
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Moved get_prerelease_data function

Moved get_prerelease_data from job_pre_release_obs to common/repoutils
and renamed it to get_repo_data. The reason of this move is that this
API will be used in snapshot creation functionality, i.e. will be called
from 2 job_ scripts.

Change-Id: Ia2976f6ccf799eea1fa626b5a48c32125dd536e6
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Created job_submit out of job_pre_release_gerrit

job_sumbit can be run in two modes: prerelease and snapshot. In
prerelease mode it does the same as job_pre_release_gerrit was doing. In
snapshot mode it uploads package straight to target project.

Change-Id: I6714070654cd3f1196b112e3970e39e7aa77371e
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Fixed wrong field name in requests/mailer code

Event, which comes from OBS doesn't have 'type' field. 'event_type'
should be used.

Looks like this code has never been tested and as a result caused
serious production issue: all email notifications have been lost.

Fixes: #1360

Change-Id: Ie73949d4d270219ee2261597b2418ec1a3a8b806
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Fixed KeyError crash in mailer.py

Looks like event, which comes from obs plugin doesn't have
'origintype' field.

====Notify the tag owner====================================
Traceback (most recent call last):
  File "/srv/jenkins/jenkins-scripts/job_request.py", line 315, in <module>
    sys.exit(main())
  File "/srv/jenkins/jenkins-scripts/job_request.py", line 282, in main
    notify_submiter(event_fields, data)
  File "/srv/jenkins/jenkins-scripts/job_request.py", line 261, in notify_submiter
    os.getenv('EMAIL_TEMPLATES_DIR'))
  File "/srv/jenkins/jenkins-scripts/requests/mailer.py", line 238, in mailer
    if not tri['cond'] or tri['cond'](_bs, request):
  File "/srv/jenkins/jenkins-scripts/requests/mailer.py", line 58, in <lambda>
    'cond':  lambda bs, req: req['origintype'] == 'change_devel',
KeyError: 'origintype'

Change-Id: I28f3866c3b37b7782576c9e613c8904050053526

Moved delete_package call after pushing accepted tag

request_accepted funcion deletes package from OBS before making and
pushing accepted tag. As OBS operations can cause unexpected errors
it's better to delete project after making a tag. Another point is
that making a tag is more important and anything, which can prevent
this operation should be done after it.

Change-Id: I1199738a88adca26f293909645cd736b71637cf3
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Check if package exists before deleting it

job_request tries to delete package from source project when request
is accepted, rejected or revoked. However, in OBS 2.4 this is done by
OBS and package doesn't exist. It caused this traceback in production:
Traceback (most recent call last):
  File "/srv/jenkins/jenkins-scripts/job_request.py", line 313, in <module>
    sys.exit(main())
  File "/srv/jenkins/jenkins-scripts/job_request.py", line 306, in main
    request_accepted(data, gerrit, gitprj)
  File "/srv/jenkins/jenkins-scripts/job_request.py", line 161, in request_accepted
    delete_package(data['OBS_REQ_PRJ_SRC'], data['OBS_REQ_PKG_SRC'])
  File "/srv/jenkins/jenkins-scripts/job_request.py", line 136, in delete_package
    _bs.delete_package(prj, pkg)
  File "/srv/jenkins/jenkins-scripts/common/buildservice.py", line 383, in delete_package
    core.delete_package(self.apiurl, project, package)
  File "/usr/lib/python2.7/site-packages/osc/core.py", line 4697, in delete_package
    http_DELETE(u)
  File "/usr/lib/python2.7/site-packages/osc/core.py", line 2924, in http_DELETE
    def http_DELETE(*args, **kwargs): return http_request('DELETE', *args, **kwargs)
  File "/usr/lib/python2.7/site-packages/osc/core.py", line 2909, in http_request
    fd = urllib2.urlopen(req, data=data)
  File "/usr/lib64/python2.7/urllib2.py", line 126, in urlopen
    return _opener.open(url, data, timeout)
  File "/usr/lib64/python2.7/urllib2.py", line 400, in open
    response = meth(req, response)
  File "/usr/lib64/python2.7/urllib2.py", line 513, in http_response
    'http', request, response, code, msg, hdrs)
  File "/usr/lib64/python2.7/urllib2.py", line 432, in error
    result = self._call_chain(*args)
  File "/usr/lib64/python2.7/urllib2.py", line 372, in _call_chain
    result = func(*args)
  File "/usr/lib64/python2.7/urllib2.py", line 884, in http_error_401
    url, req, headers)
  File "/usr/lib64/python2.7/urllib2.py", line 859, in http_error_auth_reqed
    response = self.retry_http_basic_auth(host, req, realm)
  File "/usr/lib64/python2.7/urllib2.py", line 872, in retry_http_basic_auth
    return self.parent.open(req, timeout=req.timeout)
  File "/usr/lib64/python2.7/urllib2.py", line 400, in open
    response = meth(req, response)
  File "/usr/lib64/python2.7/urllib2.py", line 513, in http_response
    'http', request, response, code, msg, hdrs)
  File "/usr/lib64/python2.7/urllib2.py", line 438, in error
    return self._call_chain(*args)
  File "/usr/lib64/python2.7/urllib2.py", line 372, in _call_chain
    result = func(*args)
  File "/usr/lib64/python2.7/urllib2.py", line 521, in http_error_default
    raise HTTPError(req.get_full_url(), code, msg, hdrs, fp)
urllib2.HTTPError: HTTP Error 404: Not Found

Change-Id: I2a6b56ba40feecf83eeabb59169ae19b835231d7
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Converted VM_CPUS and VM_MEMORY to int

When VM_CPUS and VM_MEMORY are taken from configuration file they have
to be converted to int to avoid this traceback:

Traceback (most recent call last):
  File "/var/lib/jenkins/jobs/image-creator/workspace/jenkins-scripts/job_imager.py", line 142, in <module>
    sys.exit(main())
  File "/var/lib/jenkins/jobs/image-creator/workspace/jenkins-scripts/job_imager.py", line 94, in main
    os.getenv("VM_CPUS", 8), basedir)
  File "/var/lib/jenkins/jobs/image-creator/workspace/jenkins-scripts/job_imager.py", line 33, in run_inside_vm
    (vm_memory, vm_cpus, vm_image, basedir)
TypeError: %d format: a number is required, not str

Change-Id: Ib18cbd320f013e8b3d9075dadf22840131e07bc1
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Fixed wrong config parameter

Job is failing because it uses REDIS_HOSTNAME config parameter instead
of REDIS_HOST. As REDIS_HOSTNAME does not exist job crashes this way:
Traceback (most recent call last):
  File "jenkins-scripts/job_load_repos.yaml.py", line 74, in <module>
    sys.exit(main())
  File "jenkins-scripts/job_load_repos.yaml.py", line 71, in main
    return load_repos(os.path.join(prjdir, 'repos.yaml'))
  File "jenkins-scripts/job_load_repos.yaml.py", line 26, in load_repos
    int(os.getenv('REDIS_PORT')))
  File "/srv/jenkins/jobs/load-repo-conf/workspace/jenkins-scripts/common/backenddb.py", line 141, in __init__
    self._redis.exists('anything')
  File "/usr/lib/python2.7/site-packages/redis/client.py", line 465, in exists
    return self.execute_command('EXISTS', name)
  File "/usr/lib/python2.7/site-packages/redis/client.py", line 334, in execute_command
    connection.send_command(*args)
  File "/usr/lib/python2.7/site-packages/redis/connection.py", line 287, in send_command
    self.send_packed_command(self.pack_command(*args))
  File "/usr/lib/python2.7/site-packages/redis/connection.py", line 269, in send_packed_command
    self.connect()
  File "/usr/lib/python2.7/site-packages/redis/connection.py", line 214, in connect
    sock = self._connect()
  File "/usr/lib/python2.7/site-packages/redis/connection.py", line 226, in _connect
    sock.connect((self.host, self.port))
  File "/usr/lib64/python2.7/socket.py", line 224, in meth
    return getattr(self._sock,name)(*args)
TypeError: coercing to Unicode: need string or buffer, NoneType found

Fixes: #1355

Change-Id: I37a60fc7b960301fe06b1cc1efc45189c471c532
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Fix the issue of parse commit a tag point to

When use 'git rev-parse' to parse the commit a tag point to, it should add
^{commit} after tag name, otherwise git will return the tag SHA1.

Change-Id: I0791f96350b01b458417fcbc27f14b58b79c5742
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

Push accepted commit to refs/heads/accepted/*

To use "accepted" branches as default ref in generic manifests, push accepted
commit to specific hierarchy refs/heads/accepted/* when sr accepted to specific
project.
E.g. package accepted to Tizen:Mobile should push to branch
refs/heads/accepted/tizen/mobile.

Fixes: #1345

Change-Id: I204ffb137210f4f1b6753ee152f9f0ab3fa1c88b
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

Repomaker: Check out wrong output archs

Check if architectures, provided to repomaker are valid ones, i.e. they
don't need to be mapped. For example, in current code i586 and i686
architectures are mapped to ia32, so both of them are not valid output
directories and repomaker throws exception if they're found in the list
of output architectures.

Change-Id: I4bee1f172f73550784e8153eaadad2b5a4626550
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Fixed Tester builds of Ref Updated events

Added OBS and Jenkins repos to packaging/.extra-repos to fix
installation issues. This package doesn't depend on OBS, but it needs
this fix because Tester installs all packages from target repo on
RefUpdate events.

This is a first commit of this kind. The only way to test it is to
accept it and see if Tester succeeds. If it is then similar fixes should
be committed to the rest of packages.

Change-Id: Ifb3b18936406b893dce553ee5741ce51079b7272
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Started work for 0.15

Updated version and .changes

Change-Id: I0eaef25f07c14161405cf37f99fe13210212cec6
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Release 0.14

Changed versioning. Updated changelog.

Change-Id: Id26c2fe43cf246746a0970e3f401ffae8d52088b
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Skip packages for not specified architectures

Output architectures are passed to repomaker API from caller. Packages
with not specified architectures should not go to output repository.

Change-Id: I370e1c67542ebda45a5185b50569821d37f0ac61
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Added i686 packages to the repomaker test

Thanks Qiang for this suggestion. Adding i686 packages improves the test
in a way that 2 mapped architectures(i586 and i686) are tested.

Change-Id: Ib32255520fdca733082f8779c3c5eb60ebe54bc5
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Fixed processing of architectures in repomaker

Repomaker was getting list of architectures analyzinng packages in the
incoming repository. If repository doesn't contain some architectures
those were skipped. This was a mistake. Now repomaker gets list of
architectures as a parameter and creates output repos for all
architectures even if no packages found in incoming repo for some of
them.

Fixes: #1324

Change-Id: I2e4fa4df61ae1fcaa64d0792648391493c962001
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Optimize updating git repo logic

Change-Id: I3ed80bba2536a008bd225ffabb0b90094209a40a

Renamed mic-seed to mic-appliance

Mic-seed is less informative and straightforward name from my point of
view. It explains better what this image is for.

Change-Id: I1fae68d0fb2271c7ecd619865cb19bfa963b2064
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Repomaker: consider noarch when collect packages

When repomaker collects packages from live repository it should also
consider noarch packages.

Currently it skips noarch/ directories. If submission also contains
architecture-dependent packages noarch packages just silently skipped.
However, when submission contains only noarch packages then nothing is
copied and this causes image creation failure. We were 'lucky' that
submissions we've tested didn't contain noarch packages. That's why we
didn't notice this bug.

This is a serious bug and requires to be fixed also in pre_release_obs
code, where only binary architectures are processed.

This changes fixes only repomaker. With this fix repomaker is able to
collect noarch packages.

This change partly fixes issue 1324.

Change-Id: Iba6f978ef2207aa9562f4e46c1bc596142f73ef4
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Fix updating issue when given remote url diffs origin

Change-Id: Ied117af83bb4d654d03efee856f1276bbcb85f1c
Reviewed-on: https://otctools.jf.intel.com/review/6465
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>
Reviewed-by: Eduard Bartosh <eduard.bartosh@intel.com>

Update git bare repository with a graceful way

Generally, `git fetch --all` will not synchronize local branches to
remote ones util maps local branches of the source to local branches of the
target. `git fetch --all` combined with `git clone --mirror`will end
this.

Change-Id: Ie799cfbf67a847b1ded54a6390844f9acd3ae342
Reviewed-on: https://otctools.jf.intel.com/review/6422
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>
Reviewed-by: Eduard Bartosh <eduard.bartosh@intel.com>

Fix a mistake in f9a73b64c45fc9f97fb59f76f666ca8dfaecf6b0

Change-Id: I011c49f2e0f6933c35c05378e705f4e2355b03a9
Signed-off-by: Hasan Wan <hasan.wan@intel.com>
Reviewed-on: https://otctools.jf.intel.com/review/6455
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>
Reviewed-by: Eduard Bartosh <eduard.bartosh@intel.com>

Flush stdout to make Jenkins console output better

Without flushing output of job_imager.py comes to jenkins build
console after output of mic appliance. Flushing helps to bring output
back to chronological order.

Change-Id: I3714f172874b2b583554a51ffaf5ed11e2dbf349
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>
Reviewed-on: https://otctools.jf.intel.com/review/6440
Reviewed-by: Hasan Wan <hasan.wan@intel.com>
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>

Set permissions after running mic appliance

Due to the bug in Plan9 driver or in qemu permissions of files and
directories on plan9 share are set only for owner(jenkins in our case).
This makes mic/output/* unreadable after directory is rsynced to
download server. Apache raises 403 Forbidden error when
post-image-creation job tries to access build results.

Fixes: #1206

Change-Id: Id723d7323452c7d6ea4df1f131f1498351a78eb2
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>
Reviewed-on: https://otctools.jf.intel.com/review/6439
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>
Reviewed-by: Hasan Wan <hasan.wan@intel.com>

Add --release option to mic command line

Rsync expects output results in mic/out/<build number>. Mic creates
<build number> subdirectory only when --release option is provided.

Adding extra command line options implementeed in mic appliance. Now
it's possible to provide additional options for mic in mic/out/command
file. This trick is utilized in this change.
job_imager puts '--release <build number>' to mic/out/command and mic
inside mic appliance uses it.

Change-Id: I2b83474fdacd59b9a9ff9e5c83f7ab9100e51513
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>
Reviewed-on: https://otctools.jf.intel.com/review/6438
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>
Reviewed-by: Lin A Yang <lin.a.yang@intel.com>
Reviewed-by: Hasan Wan <hasan.wan@intel.com>

Convert the repos.yaml to adapt BOSS

Fixes: #1304

Change-Id: I581b835b481f15e4ba74852e88a690d7f57462bf
Signed-off-by: Hasan Wan <hasan.wan@intel.com>
Reviewed-on: https://otctools.jf.intel.com/review/6451
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>
Reviewed-by: Eduard Bartosh <eduard.bartosh@intel.com>

Replaced pre-release with prerelease

According to http://dictionary.reference.com/,
http://www.thefreedictionary.com/ and other sources of information
pre-release is incorrect word. Prerelease(without '-') should be used
instead.

Change-Id: If763bd0aea0f259a847e7b66aeba7b966633f468
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>
Reviewed-on: https://otctools.jf.intel.com/review/6441
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>
Reviewed-by: Hasan Wan <hasan.wan@intel.com>

Re-create mic output directory

mic/outupt is recreated to ensure that no leftovers present there from
previous build. Workspace cleanup plugin does not always cleanup
workspaces, so it's better to double check.

Change-Id: I68eb435f2c2035f939799f415f87d439ee4e35f6
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>
Reviewed-on: https://otctools.jf.intel.com/review/6437
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>
Reviewed-by: Hasan Wan <hasan.wan@intel.com>

Run qemu in snapshot mode to avoid unpacking

Snapshot mode allows us to use the same mic-seed in multiple qemu
sessions as changes in snapshot mode go to snapshot. This saves time
and resouces as untarring is not needed anymore.

Change-Id: I5eced1439ea310e8d7cc025e7a8d82c1d221e9fa
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>
Reviewed-on: https://otctools.jf.intel.com/review/6436
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>
Reviewed-by: Hasan Wan <hasan.wan@intel.com>

Trim the path defined in repos.yaml, update BOSS repos.yaml

Fixes: #1285

Change-Id: I54d364cf4b8013dc42b5388aa0b7b280add8ab6a
Signed-off-by: Hasan Wan <hasan.wan@intel.com>
Reviewed-on: https://otctools.jf.intel.com/review/6356
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>
Reviewed-by: Eduard Bartosh <eduard.bartosh@intel.com>

Make sure project exist in obs before submission

Before commit code to obs, it should check whether these target projects
specified in git-obs-mapping already exist in obs. If not, quit the submission.

Change-Id: I238cce10e04ad2b5ad7ea0348a823aa718074b67
Signed-off-by: Lin Yang <lin.a.yang@intel.com>
Reviewed-on: https://otctools.jf.intel.com/review/6123
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>
Reviewed-by: Eduard Bartosh <eduard.bartosh@intel.com>

Optimize job_jobs_dispatcher.py logic

Change-Id: I81a64e371be77d3dfb2de182b4f624faa4c973c6
Reviewed-on: https://otctools.jf.intel.com/review/6405
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>
Reviewed-by: Eduard Bartosh <eduard.bartosh@intel.com>

Skip .ks file for invalid architectures

If repository doesn't contain packages for the architecture .ks file
should be skipped from processing and image(s) should not be built for
those architectures.

Change-Id: I46447f3b7132192b62963c33f805b3057d85c185
Fixes: #1306
Reviewed-on: https://otctools.jf.intel.com/review/6390
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>
Reviewed-by: Hasan Wan <hasan.wan@intel.com>

Stop using --repo from .ks file

Using --repo parameter from .ks file as a repository name is incorrect
as it doesn't point to the real repository. For example in
Tizen:Mobile porject it produces this crash:
    common.backenddb.EntityError: [Error] key repo:mobile don't exist in redis
because of --repo=mobile specified in .ks file.

The solution used in this change is to replace @BUILD_ID@ with the
current snapshot.

Fixes: #1305

Change-Id: Ic3b5b3a12b44167c48f2f8ad858629bc787a9011
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>
Reviewed-on: https://otctools.jf.intel.com/review/6389
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>
Reviewed-by: Hasan Wan <hasan.wan@intel.com>

Remove unused script job_obsevent_dispatcher.py

The new obs event dispatcher job already has been modified to call new script
job_jobs_dispatcher.py. So remove the old one.

Change-Id: Ie654e6d33625ad72b5bbf6c8bba959ac7c3f4836
Signed-off-by: Lin Yang <lin.a.yang@intel.com>
Reviewed-on: https://otctools.jf.intel.com/review/6360
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>
Reviewed-by: Hasan Wan <hasan.wan@intel.com>
Reviewed-by: Eduard Bartosh <eduard.bartosh@intel.com>

Fixed major pylint findings

Change-Id: I37c39665292f32dfa03b89d787641c668dc18a4f
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>
Reviewed-on: https://otctools.jf.intel.com/review/6368
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>
Reviewed-by: Hasan Wan <hasan.wan@intel.com>

Make error message more informative

job_pre_release_obs/make_repo: added snapshot directory path to the
error message.

Change-Id: Ia35a95b9dfdf3234dbaf1b91c15708dacadee091
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>
Reviewed-on: https://otctools.jf.intel.com/review/6367
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>
Reviewed-by: Hasan Wan <hasan.wan@intel.com>

Added check for required keys in Redis

job_pre_release_obs now checks for the required keys coming from
repos.yaml to Redis instead of crashing with KeyError exception.

Change-Id: I12544662d95bc63643bb51f2aa88bd478919299e
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>
Reviewed-on: https://otctools.jf.intel.com/review/6366
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>
Reviewed-by: Hasan Wan <hasan.wan@intel.com>

Implemented running mic under VM

If configuration variable USE_VM is set to 1 in jobs/configuration
job_imager will try to run qemu with -hda <mic seed image> and
accelerator choices: kvm:xen:tcg. It means that qemu will first try to
run image with kvm and then with xen if kvm is not found.

There are number of optional VM related parameters that can be set in
jobs/configuration: VM_IMAGE($JENKINS_HOME/mic-seed.tar by default),
VM_MEMORY(8Mb by default) and VM_CPUS(8 cpus by default).

mic appliance implemented in mic-seed expects configuration file in
mic/out directory. It will automatically run mic and put image and other
build results also into mic/out.

Fixes: #1146

Change-Id: I3a1fd07306372912a1909fd4774d06f5e8523f97
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>
Reviewed-on: https://otctools.jf.intel.com/review/6306
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>
Reviewed-by: Hasan Wan <hasan.wan@intel.com>

Support generate patches for all specfiles

If specify one specfile when using gbs export, gbs will only generate patches
for this specfile. In multiply specfiles case, it will make other packages build
failed. So remove specify specfile when gbs export.

Fixes: #1276

Change-Id: I6f667a7545b2d9e9e51c6c242e7961a2dd2b390e
Signed-off-by: Lin Yang <lin.a.yang@intel.com>
Reviewed-on: https://otctools.jf.intel.com/review/6284
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>
Reviewed-by: Hasan Wan <hasan.wan@intel.com>
Reviewed-by: Eduard Bartosh <eduard.bartosh@intel.com>

The get_release_ids should be called

Fixes: #1210

Change-Id: I78ca734446ef4377e220f1b3c7767e1d3f261432
Signed-off-by: Hasan Wan <hasan.wan@intel.com>
Reviewed-on: https://otctools.jf.intel.com/review/6274
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>
Reviewed-by: Eduard Bartosh <eduard.bartosh@intel.com>

Set default attr of common package to jenkins

Change-Id: I89daee3c1e622a7e0a50e94aadaa3336a6437139
Signed-off-by: Lin Yang <lin.a.yang@intel.com>
Reviewed-on: https://otctools.jf.intel.com/review/6179
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>
Reviewed-by: Eduard Bartosh <eduard.bartosh@intel.com>

Move unnecessary modules out of common package

Several modules under common directory, like repomaker and builddata, are not
used by sync package, so remove them out of common package.

Fixes: #1129

Change-Id: I37aabcb5b17c696fe56d4cb350651c1809bf5c58
Signed-off-by: Lin Yang <lin.a.yang@intel.com>
Reviewed-on: https://otctools.jf.intel.com/review/6176
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>
Reviewed-by: Hasan Wan <hasan.wan@intel.com>
Reviewed-by: Eduard Bartosh <eduard.bartosh@intel.com>

Add pattern to control which project should be sync

In sync instance, it should control which project should be synced to inside
gerrit when receive a refupdate event. So add a re in jobs/configuration file,
script will read it and check.

Fixes: #1124

Change-Id: I68f6f49a71e7094096320f75f75f4614639f776a
Signed-off-by: Lin Yang <lin.a.yang@intel.com>
Reviewed-on: https://otctools.jf.intel.com/review/6148
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>
Reviewed-by: Eduard Bartosh <eduard.bartosh@intel.com>

Fix `Can't update bare repository` bug

Change-Id: I4a4b2bacf16c635e5724b1939db32de831727fe7
Reviewed-on: https://otctools.jf.intel.com/review/6113
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>
Reviewed-by: Eduard Bartosh <eduard.bartosh@intel.com>

Added Tools repository to .extra-repos

Add tools latest release repository to packaging/.extra-repos to provide tools,
like gbs and gbp, to match install dependency.

Change-Id: I4de7ad2619aebb8f4bd1fc31b0058f6056c3c2fe
Signed-off-by: Lin Yang <lin.a.yang@intel.com>
Reviewed-on: https://otctools.jf.intel.com/review/6170
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>
Reviewed-by: Eduard Bartosh <eduard.bartosh@intel.com>

Move git-obs-mapping parsing to default one

Because the multiply mapping files support is not needed in near future, remove
that part and still parse git-obs-mapping from the default directory
{git_cache}/scm/git-obs-mapping.

Fixes: #1035

Change-Id: Id0ae32367184d404607658bbde1aae3932bfa608
Signed-off-by: Lin Yang <lin.a.yang@intel.com>
Reviewed-on: https://otctools.jf.intel.com/review/6086
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>
Reviewed-by: Eduard Bartosh <eduard.bartosh@intel.com>

Remove unnecessary parameter "bare"

When update local git cached repo, it should check whether local repo is bare,
not depend on the parameter.

Change-Id: I4370b039e399e9cb9796d0fbd503888f5488c552
Signed-off-by: Lin Yang <lin.a.yang@intel.com>
Reviewed-on: https://otctools.jf.intel.com/review/6068
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>
Reviewed-by: Eduard Bartosh <eduard.bartosh@intel.com>

Remove implicit modify dir name when git clone

It's not proper to implicitly modify the directory name caller specified when
clone code to this directory, so remove this part function.

Change-Id: Ia9d4ce1b1e7d1346ea7500448268a3f12794d9ca
Signed-off-by: Lin Yang <lin.a.yang@intel.com>
Reviewed-on: https://otctools.jf.intel.com/review/6050
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>
Reviewed-by: Eduard Bartosh <eduard.bartosh@intel.com>

Remove repositories and images when the project get deleted

Fixes: #1193

Change-Id: I631793f87b457ca551b4221812774392a1d448fd
Signed-off-by: Hasan Wan <hasan.wan@intel.com>
Reviewed-on: https://otctools.jf.intel.com/review/6051
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>
Reviewed-by: Eduard Bartosh <eduard.bartosh@intel.com>

Do NOT create BuildService instance in for loop

Change-Id: Id702c71a08c1e0b83d0252d9f83fc10dd4d948c3
Reviewed-on: https://otctools.jf.intel.com/review/6048
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>
Reviewed-by: Lin A Yang <lin.a.yang@intel.com>
Reviewed-by: Eduard Bartosh <eduard.bartosh@intel.com>

Update job_pre_release_gerrit.py docstring

Change-Id: I86ea8baaeae19502d67f05722b715bd7f8a9b08b
Reviewed-on: https://otctools.jf.intel.com/review/6039
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>
Reviewed-by: Hasan Wan <hasan.wan@intel.com>

Refactoring common/git.py since gbp git related changes

Change-Id: I64c4c978fc7c055b57184e5143680520017949a3
Reviewed-on: https://otctools.jf.intel.com/review/6028
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>
Reviewed-by: Eduard Bartosh <eduard.bartosh@intel.com>

Fix the issue of messages posted to public

Fixes: #1202

Change-Id: Ibb0bd5e5a01f55d1791adc97c63ff09a3299432d
Signed-off-by: Hasan Wan <hasan.wan@intel.com>
Reviewed-on: https://otctools.jf.intel.com/review/6010
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>
Reviewed-by: Eduard Bartosh <eduard.bartosh@intel.com>

Store pre-release images information into projet description

Fixes: #1179

Change-Id: Ie1b620d91d8f32150de1d54b098e7c2b85405c29
Signed-off-by: Hasan Wan <hasan.wan@intel.com>
Reviewed-on: https://otctools.jf.intel.com/review/5998
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>
Reviewed-by: Eduard Bartosh <eduard.bartosh@intel.com>

Implemented image creation for submit groups

Fixes: #1189

Change-Id: If4f91ebf3907c9e52ff90e7ba89d7908a3490d08
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>
Reviewed-on: https://otctools.jf.intel.com/review/5985
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>

Fix a require mistake

jenkins-scripts should exactly require jenkins-scripts-common in same release

Change-Id: Iaca126378b6d1caa6b5e6f6e0c4cd7f64aa58431
Signed-off-by: Hasan Wan <hasan.wan@intel.com>
Reviewed-on: https://otctools.jf.intel.com/review/5938
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>
Reviewed-by: Eduard Bartosh <eduard.bartosh@intel.com>

fix a typo in job_pre_release_gerrit

Change-Id: I7a6ae4e0e98963fdb48ecb2fac68f8e312f5bc96
Signed-off-by: Hasan Wan <hasan.wan@intel.com>
Reviewed-on: https://otctools.jf.intel.com/review/5941
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>
Reviewed-by: Eduard Bartosh <eduard.bartosh@intel.com>

Improve feedback message about submit open change

When developer submit an open change, give back a message to ask to re-trigger
submission after code passed review.

Fixes: #1184

Change-Id: I8ba1ead4e017144bb389a36adf47a33226b46716
Signed-off-by: Lin Yang <lin.a.yang@intel.com>
Reviewed-on: https://otctools.jf.intel.com/review/5929
Reviewed-by: Eduard Bartosh <eduard.bartosh@intel.com>
Tested-by: Eduard Bartosh <eduard.bartosh@intel.com>
Conflicts:
job_submitobs.py

Add an arch compatible table to map different arch
to one directory

Fixes: #1134

Change-Id: Ic0469470dedc3d21a3742ce8173ee6b8bcdbece0
Signed-off-by: Hasan Wan <hasan.wan@intel.com>
Reviewed-on: https://otctools.jf.intel.com/review/5903
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>
Reviewed-by: Eduard Bartosh <eduard.bartosh@intel.com>

Clone project if it don't exist in git cache

Generally when receive a request event, it means jenkins already handled this
project, and it should exist in git cache. But in exceptional case, git cache
don't contain such project, so clone it from remote to local workspace.

Change-Id: I292c8d028ef0277c761890c403b4f80fb7e049eb
Signed-off-by: Lin Yang <lin.a.yang@intel.com>
Reviewed-on: https://otctools.jf.intel.com/review/5907
Reviewed-by: Hasan Wan <hasan.wan@intel.com>
Tested-by: Hasan Wan <hasan.wan@intel.com>

Fix miss gerrit project under git cache issue

Because all git cache project have been changed to bare, add '.git' postfix to
fit the project path.

Change-Id: I77d8268ef0fff7feda81affccf75fcde53cc33ad
Signed-off-by: Lin Yang <lin.a.yang@intel.com>
Reviewed-on: https://otctools.jf.intel.com/review/5910
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>
Reviewed-by: Eduard Bartosh <eduard.bartosh@intel.com>

Fix the inconsistency between project and desp, fix group submission
issues.

Fixes: #1135

Change-Id: Id4e1faf04bbeb298dae2ab26f46e1ab9b41d7ea5
Signed-off-by: Hasan Wan <hasan.wan@intel.com>
Reviewed-on: https://otctools.jf.intel.com/review/5870

Fix a potential error about git cache

Fixes: #1145

Change-Id: I60c71c35ef21978695e38c16fb08b86977734835
Signed-off-by: Hasan Wan <hasan.wan@intel.com>
Reviewed-on: https://otctools.jf.intel.com/review/5857
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>
Reviewed-by: Eduard Bartosh <eduard.bartosh@intel.com>

Fix protential error when creating pre-release project

Fixes: #1094

Change-Id: I14efb72930332600311294e212190b60b367f269
Signed-off-by: Hasan Wan <hasan.wan@intel.com>
Reviewed-on: https://otctools.jf.intel.com/review/5766
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>
Reviewed-by: Eduard Bartosh <eduard.bartosh@intel.com>

Fix get_gerrit_event import error

Change-Id: Ia85da46de9b7ab6e9e1e10100fd608b29f464a0d
Signed-off-by: Lingchaox Xin <lingchaox.xin@intel.com>
Reviewed-on: https://otctools.jf.intel.com/review/5791
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>
Reviewed-by: Eduard Bartosh <eduard.bartosh@intel.com>

Update dependency of common package

1. move gbs to common package dependency
2. remove createrepo from common package

Change-Id: I9a0abd296d092bb3725583475618392df55347a1
Signed-off-by: Lin Yang <lin.a.yang@intel.com>
Reviewed-on: https://otctools.jf.intel.com/review/5775
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>
Reviewed-by: Hasan Wan <hasan.wan@intel.com>

Improve feedback message about no git commit issue

Change-Id: Iced02e79f8a4d4a065aa7eff3df5dd65c8350b3f
Signed-off-by: Lin Yang <lin.a.yang@intel.com>
Reviewed-on: https://otctools.jf.intel.com/review/5701
Tested-by: OTC Tools Tester <ed.bartosh@linux.intel.com>
Reviewed-by: Hasan Wan <hasan.wan@intel.com>

Get gerrit parent project name from global config

Change-Id: Ib29935ce9bdd38ef134b0b2724261edc7cdb4c3e
Signed-off-by: Lin Yang <lin.a.yang@intel.com>
Reviewed-on: https://otctools.jf.intel.com/review/5683

Avoid use specific domain name in script

Change-Id: Ib2616f80c50469be779140e2a7bd16e564aeabe9
Signed-off-by: Lin Yang <lin.a.yang@intel.com>
Reviewed-on: https://otctools.jf.intel.com/review/5687
Reviewed-by: Eduard Bartosh <eduard.bartosh@intel.com>
Tested-by: Eduard Bartosh <eduard.bartosh@intel.com>