Add interface to query prerelease related info

1. Support List and String type in redis, besides Dict, to support more type
   backend info
2. Add interface get_project_data to query prerelease info

Change-Id: I6718930435353e7fe4ff110e2cb65100544a98e4
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

use target project to get backend data

Change-Id: Icb823f6f8389c95eb1b1cd5750d19c4409f9ae39
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

use dict to store ks info, save updated ks file to builddata dir

Change-Id: I14f242fd791ce02ce6e3703fd28c7e9553a7ebf8
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

remove image conf operations

Change-Id: I4cac0a138cdd3d9b595fb66524edbdf44fdc0135
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

Move all image conf operations into imagedata class,
repomaker use imagedata class to handle image conf

Change-Id: I8d2d57c3e8d5029cb645057cffd7ff0134feff47
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

trigger imager jobs after repo created

Change-Id: I0ffced291ba57a20b064abfc4d2ba03a1779314f
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

fix adding group/pattern files to repo

Change-Id: I047b6d68e851dde94b63168b9f749e9d5093b42b

make pre-release repo-maker works on slave

Change-Id: I39d2b1904ed64460fc89ff8e3a12cbe86eb9dc6a
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

fix errors about class importing and file opening

Change-Id: I085820d9f9c0e04b501769907c943fe999e0a503
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

skip the buildconf section if not present

Change-Id: I5cd4803dbf1f0d6ca68183feeebe849857b417f4
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

fix an error when find files

Change-Id: If5ea13ff2b6c1303fb6925c55c4681c4f125b689
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

fix import error and function name mistakes

Change-Id: Ib202849860fe5e93f85e1ad841c24df465312931
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

fix event_type key error

Change-Id: Iabc65296d56b3c7803c1129b8896c2a56217e131
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

Fix rpmlint checker bug when rpmlint config not exists

We have added git-obs-mapping project judgement to ensure it existing
indeed, so give an equal treatment to rpmlint-config project in Gerrit.

Change-Id: I70ed0314651bcd1d327279e915a2b578ecb11ecc

Implemented ImageData API

This API is responcible for generating and parsing images.xml

Change-Id: Id0e36d6371f173b7cdaf862bc120db886d42e830
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

draft implementation of BackendDB API

This is generic API, which allows to store repository data in Redis.
API utilizes Redis hashes:
    'repo:<name>' hash contains attributes of the repository and their values

It's also an attempt to build generic API to store any type of data in Redis.
The ideas is that any type of data can be stored in Redis as set of
<type>:<subtype1>:<subtype2>... records, which point to data in Redis
hash format.

For example:
  Git->OBS mappings can be stored as set of keys with this format:
  gitobs-map:<project>:<branch>
  and hashes of this format: {"OBS_project": "home:user:project",
                              "OBS_staging_project": "home:user:staging"}

Format of hashes is not strict, so it can be extended whenever
needed.

Format of keys is stricter, but also flexible in a sense that
it's easy to change it or even increase amount of levels(depth) of it.

Change-Id: I2eb5d92d0ff6f5536a230068783a6507dfd6134d
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Draft of refactored create_images

I'm sending it for review just to show the approach. This code is not
ready for merging yet.

Change-Id: Ibda3f0ac3e95901ea4a972b891860ad3f6cc1b22

Used RepoMaker and BackendDb APIs

Change-Id: Ib81b887c7607149104d2bc5a0bc915cc4af34413
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Fix clone_gitproject invocation in job_policycheck.py

Since we try to clone git project for 3 times in clone_gitproject method,
no need using retry method here.

Change-Id: I07d0c72440e260d3f0e425805f06bcce13c3f545

create temp configuration file when runs on slave

Change-Id: Ie22e6cf6b9f74f5834afdd006509b9f0e1809907

implement the sync api

Change-Id: I237184d6ffd48ab0a07279eb372500e580f4bf1d
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

Fix function arguments typo and gerrit msg push

Change-Id: I7ad37f19615ba53f8c0f8f59a33fbc6e27360ac2

Finished implementation of builddata API

Updated the code and tests to handle this format of build target:
    <buildtarget name="atom">
      <buildconf>
        <location href="3bd64bd5fa862d99dbc363ccb1557d137b5685bc3bfe9a86bcbf50767da5e2e8-build.conf"/>
        <checksum type="sh256">3bd64bd5fa862d99dbc363ccb1557d137b5685bc3bfe9a86bcbf50767da5e2e8</checksum>
      </buildconf>
      <repo arch="i586" type="binary">repos/atom/i586/packages</repo>
      <repo arch="i586" type="binary">repos/atom/i586/debug</repo>
      <repo arch="x86_64" type="binary">repos/atom/x86_64/packages</repo>
      <repo arch="x86_64" type="binary">repos/atom/x86_64/debug</repo>
      <repo type="source">repos/atom/sources</repo>
    </buildtarget>

Change-Id: Ie300bff66699eb402af4b0ca7eaddc37a238c136

Implemented repomaker API

This API takes care of generating rpm repos in appropriate directory
structure. It also generates build.xml and images.xml

Change-Id: Ib2b31ea0173581d8a0d150ec12474d8b68548967
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Implemented BuildData API

This API is responcible for generating and parsing build.xml

Change-Id: If580443977f20fd2266ebbd64e027c59d1aa63fd
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Added dependency to python-yaml

As repomaker/__init__.py imports yaml package should depend on
python-yaml.

Change-Id: I80eefb1f4a7fcb33718c4a095d3f0e7f638cb823
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

get project name from OBS event content, fix an import error

Change-Id: I50edefde3dae06b10d66279a2b8d53dd6672407b
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

Add job_local_cache_cleanups.py to make local cache cleanups

Thanks for Ed's a lot of helpful advice, such as:
directory walking, env judgement and so on.

Change-Id: I39f69eb64ae774e4182e9779514eb4449dbee6b2

Reimplemented generation of build.xml

Refactored and reimplemented generation of build.xml according to new
download structure.

Change-Id: Iff7c246200ca412294ed129eab7f9728ae2f3cf4

Add args parameter to be flexible when list needed projects

Such as, I want to just list CODE type's projects,
so use `ls-projects --type CODE`, thanks Yang Lin's reminder.

Change-Id: Ifdd05598e9be1285cc3f8091944ed1df343f94c7

Fix exception of deleting a non-exist directory

Change-Id: I488160a87576923212da67ff6214d05f416e0bd7
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

Moved cleanup to BuildService.

As cleanup is used by job_pre_release_gerrit and job_pre_release_obs
it's better to move it to common API. BuildService is a good candidate
for this API.

Change-Id: I1e5c7a7e7612ade64b8249fc7143b72c7f61f57e

Returned back right info structure

Structure of info structure in job_pre_release_gerrit was changed on
some rebase or merge. Returning it back to the right one.

Change-Id: I424c1aa5ac833c7f1b2d838227b56dc1591cb2e8
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Return proper exit code from job_pre_release_gerrit

Change-Id: I100ff0c55cba4b908f6c091aed539816cf7bde57
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Removed delete_project from obsservice

Method delete_project is duplicate in obsservice as it's present in oscapi.

Change-Id: I7ab8c2f1632f5480ddc1b7c033ddc2006224a400
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Implemented use of gbs source service

This change replaces direct run of gbs with using gbs service. It means
that all heavy work will be done on the server. It makes this job run
much faster and simplifies the job. Instead of downloading sources,
dealing with git cache, uploading tarballs and other pieces of packaging
on the worker side job just uploads small service file to the OBS.

For this approach to work gbs service package should be installed on OBS
server.

Fixes: #817

Change-Id: I53a22ec24d60a3219a926f2b8963e0b21be4af09
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

A new job to receive the event from OBS notify_jenkins plugin

Change-Id: I1a81ad6c53159632111b96c84ab42cd386bd6824
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

Remove envparas reference

And drop boss-reports.py, job_aiaiaicheck.py, they will not be
used in the future.

Change-Id: Ic71b2b96f68025b5b7abc719311c2d415b439cfa

Pylinted for common/utils.py

Change-Id: I519780acbe77d80566c0adc0de87ab9a7b7adcd5

Refactor job_policycheck.py with clear logic

Also split main func to small ones

Change-Id: I8efff3370a2b27a6c0b4697e45f9bc75bdd2f302

Fix job_buildcheck_post.py docstring typo

Change-Id: Ic9ac4e157b6d3b4f4e6d9deb91cd4a8a5075363f

Cleanups for job_request.py

Change-Id: Ibe0fc71237b7fab75a03d0ec85d7dc59fa6901f5

Implemented fetching mappings from multiple Gerrits

git_obs_map function now iterates through the list of
semicolon-separated list of git urls, provided in environment variable
MAPPING_PROJECTS and fetches mapping xml files from them until mapping
is found.

Fixes: #854

Change-Id: Iafd0d98b381dbad0e441a615dbc82dc8a028c415
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Get rid of using 2 local APIs

Stop using ProjectBuildService and PreRelease APIs. Use only
buildservice and gbs APIs behind it.

Put jsoned info dictionary into project description. Dictionary should
be updated every time new package comes to the same pre-release project.

Change-Id: I54052982c25d3da019094825a1b11ffc65eaeb8f
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Introduced new parameter giturl to clone_gitproject

Current implementation of clone_gitproject getting gerrit url from
environment variables, which is not always good. New parameter giturl
allows to get rid of this limitation.

This approach is used in job_pre_release_gerrit to clone mappings from
multiple gerrits.

Change-Id: Ie1e9ec2f49e83e07cecac0623834c88082dcdb3f
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Used GERRIT_PROJECT instead of GIT_PROJECT

Environment variable GIT_PROJECT is not set by Gerrit Trigger plugin.
Let's use GERRIT_PROJECT instead.

Change-Id: Iff76c49c008c557a8cb9f3e2b444e9b0f6613724
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

job_pre_release_gerrit: Used local error exception

It's better to raise an local exception instead of returnning error
codes and analyzing them.

Change-Id: I8b9d5ca93a90b7b82689d36a433783eee972ee55
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Fix events' str typo

Change-Id: I6434620ac4a2202aae653415cf62d5e00cb2809e

remove source package when sr close

Change-Id: I6b254c58d3aeb64a55af0da4625e124923c70d51
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

fix git push failure

Current gbp only accept parameter without space, so split args to two parts.

Change-Id: I7c25e18fa795099da14b4586fd51db43f3be8ded
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

catch GitRepositoryError after move to gbp

Change-Id: Ib19a7c349c2092c6aefb81798aa1fdc5106e0687
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

convert unicode parameters in obs event to str

Because json.loads will return unicode object by default, it will cause
1. print non-ascii char in obs event will cause exception
2. some functions osc core cannot support unicode parameters,
   like delete_project, delete_package
so convert all variables in obs event to str.

Change-Id: I5bf12b37c40931c01da71ef69770442a06e74ff9
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

refactored submitobs script

1. seperate main function into several small functions
2. pylint check
3. get rid of global parameters

Change-Id: Iaa20dbb32c87b443b8b979e2a13c626a1220a008
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

Pylinted for job_update_local_git.py

Change-Id: I520f00cce5415209e543ad8c413e268f8d32384d

Pylinted for job_mail_sender.py

Change-Id: Iee5108416a5e02d6bfb493548cc4eaa4d1615aac

Pylinted for job_policycheck.py and git-obs-mapping cloning bug fixed

Change-Id: Ia7791f199acd7937197f3d2c6762818ad8ef5b68

Adjust job_deletetag.py for cdbc28c

Change-Id: I6ba95d34804ee61bbdbb66f7401ffcc5cee2f2e3

import gerrit event from evnironment variable

Change-Id: I96ce83ade58de8fb1ca2ad5f3930df49cd42a96c
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

Merge "Pylinted for job_buildcheck_post.py and refactoring" into devel

Merge "Pylinted for common/buildservice.py" into devel

Kill extra lines in tag['message'] when get taginfo

For example:

    GIT_AUTHOR_EMAIL='Lingcha X <lingchaox.xin@intel.com>'
    bccs='['']'
    OBS_REQ_PERSON='None'
    commitid='35bc1b774379966547bce204a7c9f0c34854f0ae'
    OBS_REQ_OLDSTATE='new'
    descriptions='[]'
    GIT_COMMENTS='Test for devel_rebase'
    GIT_PROJECT='test/test'
    message='

    Test for devel_rebase

    '
    GIT_TAG='submit/trunk/20130228.085818'

Change-Id: Icfde40c6ac01734ef813d7d2808187b5d0a31078

Pylinted for job_buildcheck_post.py and refactoring

Change-Id: I497638a5dd39e9b4724d87357b5b548087f252cb

Pylinted for common/buildservice.py

Change-Id: Iaa0485ead8b141699436ab0ae0f3a7f997b273f2

Merge "Splitted job_pre_release" into devel

Merge "Changed the way pre-release job is triggered" into devel

Merge "Add outputs when execute git commands and pylinted" into devel

Splitted job_pre_release

Splitted job_pre_release to two scripts: job_pre_release_obs contains
the code, which is processing obs events and job_pre_release_gerrit,
which is processing gerrit events.

Change-Id: I4b7116f6f43ffb9f14c9e06ce442ea954c540a1c
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Changed the way pre-release job is triggered

This change proposes that creation functionality is triggered by Gerrit
event 'ref updated'. This way we can get rid of two unneeded workflow
points: Gerrit job job_submitobs and OBS plugin as we're reacting
straight on the most trustable source of the information about submitted
tag - to the Gerrit event 'ref updated'.

Image creation and repository cleanup should be moved to another jenkins
job as they're triggered by OBS events and logically don't belong to this job.

Change-Id: I823eed3568c4881c35472f24b7cf4ca3c596fdb0
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Fixed call of create function

Number of parameters has been changed lately and causes crash when
calling this function.

Change-Id: I3cbb0fbafd7248cd87654389ec2ab2b13154dcb0
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Add outputs when execute git commands and pylinted

Change-Id: I0023123a00044d19ebdf7f0198fa9f586490d737

Merge "import rpmlint config from local git cache" into devel

Prerelease cleanup

1. remove unused function
2. add get_prerelease_project_name function
3. move some function from Prerelease2 to Prerelease
4. Rename TempBuildService to ProjectBuildService

Change-Id: I24ba25e34cd5212c03ad2f101563c3aa6e677ccf
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

add the missed import of GitError

Change-Id: I26687e3fed6a09211dd7bb1095b8df9bba3cc95b
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

import rpmlint config from local git cache

Origin implementation is copy rpmlint config from jenkins local git
cache to default location ~/.config/rpmlint when scm/rpmlint-config
project updated. Now it will try to import rpmlint config from local
git cache at first, then ~/.config/rpmlint.

Change-Id: I717f6d337c313c45dcce265244bf97c4e887fdd9
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

Cleanups for job_deletetag.py

Introduced main() function and checked by flake8

Change-Id: I61d1d64e5d6b0e202aaac621f6736f8c8edba538

Added rpm packaging

This form of packaging is needed for integration with OTC Tools Tester
machinery. It requires all packaging to be prepared by
cd packaging/ && make all

Change-Id: I19aefc5e634c1a760c93013ddf0343ca6546eee5
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Pylinted

Fixed pylint findings, spelling, etc

Change-Id: Id7e93c78e207bfcb7989a4e19a02e6dfaf53bc6f
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Added docstrings

Change-Id: I9d590893dbec917897b3ac126f738ade08387af5
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Removed unused imports

Change-Id: I2b36153c51775946a3bd1cd4500b5a41b5785a7d
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Introduced main() function

Implemented according to Guido advice:
http://www.artima.com/weblogs/viewpost.jsp?thread=4829
Please, read for the details.

Change-Id: Ia3f1bd6c3cc5f4e2c4e4f788ad68ea90131165f5
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Get rid of using global variables

Pushing variables from different contexts into global namespace is bad
practice. It leads to the code, which hard to maintain and debug.

Change-Id: I7f867b60e6f2c38fad9dafcf1654e6ce71e03392
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

repo-make process refactor base on new repo.yaml and code cleanup

'TopLevel' will be deprecated soon
new keys: 'PartOf', 'Branch' and 'RepoName'
for more flexible repo configuration
unused code are removed

Change-Id: I11960781e51202299b2f6fb44d1fe1d02ca6c562

create build.xml for live repos

Change-Id: I4380da6fa2823fc3e1b80dd153add423761659f5
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

repoconf class for repos.yaml

Change-Id: I85bcb73226fdb4c3cae65f5df7fb14186e536eee

job_imager cleanup

Change-Id: I855c797d11d38b92fdbde18443c40a0242d36dc2
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

job_pre_release: prepare live repos for image creation

Change-Id: Iee4f57711d2056bc2a300c627f387f652795324d
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

add OBS project repository class to handle repo operation

Change-Id: I953014fbfa38ca21a538f0c1a4b92ffc1940a1fb
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

remove pre-release process from generic repo-maker

Change-Id: I1add8b2ac42b929b79274ab082775f2c17134b99
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

ugly way to fix the project removing problem

Change-Id: Idf8f2e55c043723d2bcdd16fd56dc59f1a4c354f
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

BuildService related refactoring and cleanups

Conflicts:

job_pre_release.py

Change-Id: Id114bc71de76e43db7d9be2387abc693b667a095

common/git.py refactoring and cleanups

Also add gitignore

Conflicts:
common/git.py
job_submitobs.py

Change-Id: I0fd28bcc1e7cd4adc23874d7c41b4a2d11e00678

fix conflict of global variable "OBS_USERNAME"

Because same other jobs already use "OBS_API_USERNAME", change "OBS_USERNAME" to fix it.

Change-Id: I45bca5b2b672945e4968b938f1c8c783f8007360
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

improve function of cloning git project to local

Change-Id: I939dfaa8d055c740a92683e0cdbe2015802e2383
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

cleanup obsolete code in submit-obs job

Discard the functions of automatically update changelog and
gerritinfo file.

Change-Id: I0ab590a82cf3de04e260f8b25f23f1a91aef8966
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

cleanup obsolete code in policycheck

Change-Id: Ie93928b509d00d4e885569851571127d0d5f6f09
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

Only get last 200 lines of build log

Change-Id: Ie382e1f7137b4d6680491eb680a91e01bd854cdc
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

common/buildservice.py refactoring and cleanups

Change-Id: I4f7161e0252d66a702a91b6972d7aab05cfb6d0a

remove single quotes in gerrit review message

Because we use single quotes to quoting message. A single quote may
not occur between single quotes, even when preceded by a backslash.

Change-Id: I258d7d53a4a9d0f51426718c5a6a1954c025bc5b
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

support quotation in tag message

Change-Id: Ia30da7d0bdc7a67b0197de297082adb13acd77bc

reject submission if doesn't have changelog update

Change-Id: I7759009c885311e2c4fc01c0e977e7cee7b6bb53
Signed-off-by: Lin Yang <lin.a.yang@intel.com>