Pylint for common/git.py

Change-Id: Ibcafeff673d52193c8a9e66ead89904211a49005

Pylint for common/utils.py

Replace apply() with the extended call syntax:
function(*args, **keywords).

Fix no RuntimeException found error.

Change-Id: I6dbe96c23e982726d4ac0281cb2075288d5f24b9

Pylint for common/buildtrigger.py

Change-Id: I0ae68ca260ad6397e96baca25d4968ea1224ce46

Pylint for common/buildservice.py and typo fixed

Change-Id: I17568aec04f840765ea57146d838fbba2ad9073b

Remove unused mysql lib

Change-Id: Id88cdb9fe96811142900b03796da23e9f988707d

Pylint for common/rpmlint.py

Change-Id: Ib69c6c20cc6db5191517e1c49e0e14a854b745e0

Pylint for common/tempbuildpkg.py

Change-Id: I04695536c813585e54eee1a4b9ad998ddc37f050

Implemented get_prerelease_data

Collected all pre-release paths and url making in one place:
application level pre-release API get_prerelease_data. This function
returns all data, required by prerelease applications.

This function can be moved under common/ when there will be more than
one consumers of prerelease data.

Left only read_ and get_ methods in BackendDB as the rest of
functionality is implemented in get_prerelease_data.

Change-Id: I40a311f98d32002cdd10931baa80b75f9b2955de
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Pylint for common/send_mail.py

The various uppercase names were renamed in Python 2.5. The base email
package's __init__.py does some tricks to make the old names work in
python, but because pylint has its own separate method of doing imports,
those tricks don't work in pylint. So obey pylint.

Change-Id: If03641ae94e7f1da34a2593913f80c2e5bc7034a

Add function to cleanup pre-release repos

Change-Id: I51f4061baebd32b71574e19b5721a42688ecf36d
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

fix a typo in job_pre_release_gerrit

Change-Id: I610bf6bf26f799593d740f3b130c8834a9431799
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

sync image to SYNC_DEST

Change-Id: Iab1ae95b46b005e26da52b4089c9b7b9aa35495c
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

convert port number to int

Change-Id: I6a3419ae6528603fe734b2bbcd06fa67e8a10850
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

check the repo status before start create repo

Change-Id: Iffe047b3d5a3bed7fe100c941128549dec5bcc9f
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

remove the old package if exists, remove the debug message

Change-Id: If18611e8398ec105c63d2f2cf993bb5f290ac2ba
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

fix some errors when working with backenddb

Change-Id: I0aaa891bde3c6151a7e9e81212054d5f5b7adba3
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

job_pre_release_obs: code cleanup

cleaned up and restructured the code of job_pre_release_obs

Change-Id: Icd8e087505850942d8d58fe5ca6cafdf52576087
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Cleaned up trigger_image_creation function

Change-Id: I59503aaba7612902c60f8a585248218c29821783
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Removed testprojects/

The only thing which is used from testprojects/ was
get_prerelease_project_name function. Moved it to
job_pre_release_gerrit as it was used only there. If it will be used
somewhere else we can move it to common/

Change-Id: I4c1cb26b56e8bb369f8bd6f57004a06ab693c17f
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Code cleanup

Fixed unused imports, using .keys() method for dict and other small code
style issues.

Change-Id: I9c66e60ddd3f879f51f8991c345e2a006b3b7360
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Fix unittests' errors

Change-Id: Id18a6f378575ca9a2434a98c716de2457c92719a

Fix tag exsisting check logic

We maybe need rev_parse method to ensure tag exsisting indeed,
rather than simple str split.

Change-Id: I672fc38b8d839d0fe54890fb7e339b1564585a32

Fix spec file logic

We must ensure /etc/sysconfig/jenkins existing, then come next;
And also update it from obs.

Change-Id: Ibb7757fbdf61f5a4860208fb1a7646b07b6bb780

Add interface to query prerelease related info

1. Support List and String type in redis, besides Dict, to support more type
   backend info
2. Add interface get_project_data to query prerelease info

Change-Id: I6718930435353e7fe4ff110e2cb65100544a98e4
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

use target project to get backend data

Change-Id: Icb823f6f8389c95eb1b1cd5750d19c4409f9ae39
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

use dict to store ks info, save updated ks file to builddata dir

Change-Id: I14f242fd791ce02ce6e3703fd28c7e9553a7ebf8
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

remove image conf operations

Change-Id: I4cac0a138cdd3d9b595fb66524edbdf44fdc0135
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

Move all image conf operations into imagedata class,
repomaker use imagedata class to handle image conf

Change-Id: I8d2d57c3e8d5029cb645057cffd7ff0134feff47
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

trigger imager jobs after repo created

Change-Id: I0ffced291ba57a20b064abfc4d2ba03a1779314f
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

fix adding group/pattern files to repo

Change-Id: I047b6d68e851dde94b63168b9f749e9d5093b42b

make pre-release repo-maker works on slave

Change-Id: I39d2b1904ed64460fc89ff8e3a12cbe86eb9dc6a
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

fix errors about class importing and file opening

Change-Id: I085820d9f9c0e04b501769907c943fe999e0a503
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

skip the buildconf section if not present

Change-Id: I5cd4803dbf1f0d6ca68183feeebe849857b417f4
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

fix an error when find files

Change-Id: If5ea13ff2b6c1303fb6925c55c4681c4f125b689
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

fix import error and function name mistakes

Change-Id: Ib202849860fe5e93f85e1ad841c24df465312931
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

fix event_type key error

Change-Id: Iabc65296d56b3c7803c1129b8896c2a56217e131
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

Fix rpmlint checker bug when rpmlint config not exists

We have added git-obs-mapping project judgement to ensure it existing
indeed, so give an equal treatment to rpmlint-config project in Gerrit.

Change-Id: I70ed0314651bcd1d327279e915a2b578ecb11ecc

Implemented ImageData API

This API is responcible for generating and parsing images.xml

Change-Id: Id0e36d6371f173b7cdaf862bc120db886d42e830
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

draft implementation of BackendDB API

This is generic API, which allows to store repository data in Redis.
API utilizes Redis hashes:
    'repo:<name>' hash contains attributes of the repository and their values

It's also an attempt to build generic API to store any type of data in Redis.
The ideas is that any type of data can be stored in Redis as set of
<type>:<subtype1>:<subtype2>... records, which point to data in Redis
hash format.

For example:
  Git->OBS mappings can be stored as set of keys with this format:
  gitobs-map:<project>:<branch>
  and hashes of this format: {"OBS_project": "home:user:project",
                              "OBS_staging_project": "home:user:staging"}

Format of hashes is not strict, so it can be extended whenever
needed.

Format of keys is stricter, but also flexible in a sense that
it's easy to change it or even increase amount of levels(depth) of it.

Change-Id: I2eb5d92d0ff6f5536a230068783a6507dfd6134d
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Draft of refactored create_images

I'm sending it for review just to show the approach. This code is not
ready for merging yet.

Change-Id: Ibda3f0ac3e95901ea4a972b891860ad3f6cc1b22

Used RepoMaker and BackendDb APIs

Change-Id: Ib81b887c7607149104d2bc5a0bc915cc4af34413
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Fix clone_gitproject invocation in job_policycheck.py

Since we try to clone git project for 3 times in clone_gitproject method,
no need using retry method here.

Change-Id: I07d0c72440e260d3f0e425805f06bcce13c3f545

create temp configuration file when runs on slave

Change-Id: Ie22e6cf6b9f74f5834afdd006509b9f0e1809907

implement the sync api

Change-Id: I237184d6ffd48ab0a07279eb372500e580f4bf1d
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

Fix function arguments typo and gerrit msg push

Change-Id: I7ad37f19615ba53f8c0f8f59a33fbc6e27360ac2

Finished implementation of builddata API

Updated the code and tests to handle this format of build target:
    <buildtarget name="atom">
      <buildconf>
        <location href="3bd64bd5fa862d99dbc363ccb1557d137b5685bc3bfe9a86bcbf50767da5e2e8-build.conf"/>
        <checksum type="sh256">3bd64bd5fa862d99dbc363ccb1557d137b5685bc3bfe9a86bcbf50767da5e2e8</checksum>
      </buildconf>
      <repo arch="i586" type="binary">repos/atom/i586/packages</repo>
      <repo arch="i586" type="binary">repos/atom/i586/debug</repo>
      <repo arch="x86_64" type="binary">repos/atom/x86_64/packages</repo>
      <repo arch="x86_64" type="binary">repos/atom/x86_64/debug</repo>
      <repo type="source">repos/atom/sources</repo>
    </buildtarget>

Change-Id: Ie300bff66699eb402af4b0ca7eaddc37a238c136

Implemented repomaker API

This API takes care of generating rpm repos in appropriate directory
structure. It also generates build.xml and images.xml

Change-Id: Ib2b31ea0173581d8a0d150ec12474d8b68548967
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Implemented BuildData API

This API is responcible for generating and parsing build.xml

Change-Id: If580443977f20fd2266ebbd64e027c59d1aa63fd
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Added dependency to python-yaml

As repomaker/__init__.py imports yaml package should depend on
python-yaml.

Change-Id: I80eefb1f4a7fcb33718c4a095d3f0e7f638cb823
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

get project name from OBS event content, fix an import error

Change-Id: I50edefde3dae06b10d66279a2b8d53dd6672407b
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

Add job_local_cache_cleanups.py to make local cache cleanups

Thanks for Ed's a lot of helpful advice, such as:
directory walking, env judgement and so on.

Change-Id: I39f69eb64ae774e4182e9779514eb4449dbee6b2

Reimplemented generation of build.xml

Refactored and reimplemented generation of build.xml according to new
download structure.

Change-Id: Iff7c246200ca412294ed129eab7f9728ae2f3cf4

Add args parameter to be flexible when list needed projects

Such as, I want to just list CODE type's projects,
so use `ls-projects --type CODE`, thanks Yang Lin's reminder.

Change-Id: Ifdd05598e9be1285cc3f8091944ed1df343f94c7

Fix exception of deleting a non-exist directory

Change-Id: I488160a87576923212da67ff6214d05f416e0bd7
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

Moved cleanup to BuildService.

As cleanup is used by job_pre_release_gerrit and job_pre_release_obs
it's better to move it to common API. BuildService is a good candidate
for this API.

Change-Id: I1e5c7a7e7612ade64b8249fc7143b72c7f61f57e

Returned back right info structure

Structure of info structure in job_pre_release_gerrit was changed on
some rebase or merge. Returning it back to the right one.

Change-Id: I424c1aa5ac833c7f1b2d838227b56dc1591cb2e8
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Return proper exit code from job_pre_release_gerrit

Change-Id: I100ff0c55cba4b908f6c091aed539816cf7bde57
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Removed delete_project from obsservice

Method delete_project is duplicate in obsservice as it's present in oscapi.

Change-Id: I7ab8c2f1632f5480ddc1b7c033ddc2006224a400
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Implemented use of gbs source service

This change replaces direct run of gbs with using gbs service. It means
that all heavy work will be done on the server. It makes this job run
much faster and simplifies the job. Instead of downloading sources,
dealing with git cache, uploading tarballs and other pieces of packaging
on the worker side job just uploads small service file to the OBS.

For this approach to work gbs service package should be installed on OBS
server.

Fixes: #817

Change-Id: I53a22ec24d60a3219a926f2b8963e0b21be4af09
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

A new job to receive the event from OBS notify_jenkins plugin

Change-Id: I1a81ad6c53159632111b96c84ab42cd386bd6824
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

Remove envparas reference

And drop boss-reports.py, job_aiaiaicheck.py, they will not be
used in the future.

Change-Id: Ic71b2b96f68025b5b7abc719311c2d415b439cfa

Pylinted for common/utils.py

Change-Id: I519780acbe77d80566c0adc0de87ab9a7b7adcd5

Refactor job_policycheck.py with clear logic

Also split main func to small ones

Change-Id: I8efff3370a2b27a6c0b4697e45f9bc75bdd2f302

Fix job_buildcheck_post.py docstring typo

Change-Id: Ic9ac4e157b6d3b4f4e6d9deb91cd4a8a5075363f

Cleanups for job_request.py

Change-Id: Ibe0fc71237b7fab75a03d0ec85d7dc59fa6901f5

Implemented fetching mappings from multiple Gerrits

git_obs_map function now iterates through the list of
semicolon-separated list of git urls, provided in environment variable
MAPPING_PROJECTS and fetches mapping xml files from them until mapping
is found.

Fixes: #854

Change-Id: Iafd0d98b381dbad0e441a615dbc82dc8a028c415
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Get rid of using 2 local APIs

Stop using ProjectBuildService and PreRelease APIs. Use only
buildservice and gbs APIs behind it.

Put jsoned info dictionary into project description. Dictionary should
be updated every time new package comes to the same pre-release project.

Change-Id: I54052982c25d3da019094825a1b11ffc65eaeb8f
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Introduced new parameter giturl to clone_gitproject

Current implementation of clone_gitproject getting gerrit url from
environment variables, which is not always good. New parameter giturl
allows to get rid of this limitation.

This approach is used in job_pre_release_gerrit to clone mappings from
multiple gerrits.

Change-Id: Ie1e9ec2f49e83e07cecac0623834c88082dcdb3f
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Used GERRIT_PROJECT instead of GIT_PROJECT

Environment variable GIT_PROJECT is not set by Gerrit Trigger plugin.
Let's use GERRIT_PROJECT instead.

Change-Id: Iff76c49c008c557a8cb9f3e2b444e9b0f6613724
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

job_pre_release_gerrit: Used local error exception

It's better to raise an local exception instead of returnning error
codes and analyzing them.

Change-Id: I8b9d5ca93a90b7b82689d36a433783eee972ee55
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Fix events' str typo

Change-Id: I6434620ac4a2202aae653415cf62d5e00cb2809e

remove source package when sr close

Change-Id: I6b254c58d3aeb64a55af0da4625e124923c70d51
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

fix git push failure

Current gbp only accept parameter without space, so split args to two parts.

Change-Id: I7c25e18fa795099da14b4586fd51db43f3be8ded
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

catch GitRepositoryError after move to gbp

Change-Id: Ib19a7c349c2092c6aefb81798aa1fdc5106e0687
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

convert unicode parameters in obs event to str

Because json.loads will return unicode object by default, it will cause
1. print non-ascii char in obs event will cause exception
2. some functions osc core cannot support unicode parameters,
   like delete_project, delete_package
so convert all variables in obs event to str.

Change-Id: I5bf12b37c40931c01da71ef69770442a06e74ff9
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

refactored submitobs script

1. seperate main function into several small functions
2. pylint check
3. get rid of global parameters

Change-Id: Iaa20dbb32c87b443b8b979e2a13c626a1220a008
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

Pylinted for job_update_local_git.py

Change-Id: I520f00cce5415209e543ad8c413e268f8d32384d

Pylinted for job_mail_sender.py

Change-Id: Iee5108416a5e02d6bfb493548cc4eaa4d1615aac

Pylinted for job_policycheck.py and git-obs-mapping cloning bug fixed

Change-Id: Ia7791f199acd7937197f3d2c6762818ad8ef5b68

Adjust job_deletetag.py for cdbc28c

Change-Id: I6ba95d34804ee61bbdbb66f7401ffcc5cee2f2e3

import gerrit event from evnironment variable

Change-Id: I96ce83ade58de8fb1ca2ad5f3930df49cd42a96c
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

Merge "Pylinted for job_buildcheck_post.py and refactoring" into devel

Merge "Pylinted for common/buildservice.py" into devel

Kill extra lines in tag['message'] when get taginfo

For example:

    GIT_AUTHOR_EMAIL='Lingcha X <lingchaox.xin@intel.com>'
    bccs='['']'
    OBS_REQ_PERSON='None'
    commitid='35bc1b774379966547bce204a7c9f0c34854f0ae'
    OBS_REQ_OLDSTATE='new'
    descriptions='[]'
    GIT_COMMENTS='Test for devel_rebase'
    GIT_PROJECT='test/test'
    message='

    Test for devel_rebase

    '
    GIT_TAG='submit/trunk/20130228.085818'

Change-Id: Icfde40c6ac01734ef813d7d2808187b5d0a31078

Pylinted for job_buildcheck_post.py and refactoring

Change-Id: I497638a5dd39e9b4724d87357b5b548087f252cb

Pylinted for common/buildservice.py

Change-Id: Iaa0485ead8b141699436ab0ae0f3a7f997b273f2

Merge "Splitted job_pre_release" into devel

Merge "Changed the way pre-release job is triggered" into devel

Merge "Add outputs when execute git commands and pylinted" into devel

Splitted job_pre_release

Splitted job_pre_release to two scripts: job_pre_release_obs contains
the code, which is processing obs events and job_pre_release_gerrit,
which is processing gerrit events.

Change-Id: I4b7116f6f43ffb9f14c9e06ce442ea954c540a1c
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Changed the way pre-release job is triggered

This change proposes that creation functionality is triggered by Gerrit
event 'ref updated'. This way we can get rid of two unneeded workflow
points: Gerrit job job_submitobs and OBS plugin as we're reacting
straight on the most trustable source of the information about submitted
tag - to the Gerrit event 'ref updated'.

Image creation and repository cleanup should be moved to another jenkins
job as they're triggered by OBS events and logically don't belong to this job.

Change-Id: I823eed3568c4881c35472f24b7cf4ca3c596fdb0
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Fixed call of create function

Number of parameters has been changed lately and causes crash when
calling this function.

Change-Id: I3cbb0fbafd7248cd87654389ec2ab2b13154dcb0
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Add outputs when execute git commands and pylinted

Change-Id: I0023123a00044d19ebdf7f0198fa9f586490d737

Merge "import rpmlint config from local git cache" into devel

Prerelease cleanup

1. remove unused function
2. add get_prerelease_project_name function
3. move some function from Prerelease2 to Prerelease
4. Rename TempBuildService to ProjectBuildService

Change-Id: I24ba25e34cd5212c03ad2f101563c3aa6e677ccf
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

add the missed import of GitError

Change-Id: I26687e3fed6a09211dd7bb1095b8df9bba3cc95b
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

import rpmlint config from local git cache

Origin implementation is copy rpmlint config from jenkins local git
cache to default location ~/.config/rpmlint when scm/rpmlint-config
project updated. Now it will try to import rpmlint config from local
git cache at first, then ~/.config/rpmlint.

Change-Id: I717f6d337c313c45dcce265244bf97c4e887fdd9
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

Cleanups for job_deletetag.py

Introduced main() function and checked by flake8

Change-Id: I61d1d64e5d6b0e202aaac621f6736f8c8edba538

Added rpm packaging

This form of packaging is needed for integration with OTC Tools Tester
machinery. It requires all packaging to be prepared by
cd packaging/ && make all

Change-Id: I19aefc5e634c1a760c93013ddf0343ca6546eee5
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Pylinted

Fixed pylint findings, spelling, etc

Change-Id: Id7e93c78e207bfcb7989a4e19a02e6dfaf53bc6f
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>