Show more complete RPM/SRPM package output path

* define two vars for rpm local repo patch and srpm repo path
* show complete rpm/srpm repo path

Change-Id: I3d10db28328d0ce86bf53798e6107f19aee2f2d3

noinit support

* Save build conf to build root for --noinit usage
* --noinit only support building one package
* don't go through scheduler for --noinit and --incremental build
* create a function sunmary_report() to report build status.

Change-Id: If3636458c8ed815231469480263b87d59ff43576

Support build RPM packages for incremental build

* call --short-circuit --stage=-bs to build PRMs
* copy RPMs to local repo
* make incremental build in scratch.{arch}.*

Change-Id: Idbe915bef86785776bfc755efb1399d232cd5f9a

Show local repo and build root info, #482

Change-Id: I8a45ba609f418c305416730361ab2c14e44016b0

Add --packagind-dir option

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

change ccache option as bool type

Change-Id: Ia21883b0d6817b3c3e2ebd367bc466913c56685f

bump up to version 0.2

Change-Id: I7c16247721283e80e9df8d8f70d2166e54ca8788

fix typo: lossing ';'

Change-Id: Ic852db81e3f0ed43574e6b0b8eae4cfe222d6098

depend on tizen-build-2012.10.10

From now on, our owned build will provide 'tizen-build-%{version}',
which can be used to distinguish upstream version, and let depanneur
to depend on our own build.

Change-Id: I7a2e066a6115841bd3b1280176b7126f97375665

Check circle and exit if circle exists, fix#457

* split expand_deps into two functions, one is for generating %repo
  and the other is calling Build::readdeps to get build deps
* generate pkgddeps, which is the direct dependency dict, and this
  structure can be used to check dependency circle
* use global $config, and don't need parse everytime

Note: only direct dependency can be used while checking circle.

Change-Id: I47e8374876e043b70b8e50ecf441bf3852d9a30a

Build spec files in ARGV

* If specify spec files in ARGV, build them
* If not, find spec files in $package_path and build
* If --buildall is on, build both of them
* In this way to support building one spec file(Fix #386)

Change-Id: Ide633e81e29b436bae61f03d8e7f8587a8a54b8c

Update dependency to use build-2012-10.10

Change-Id: I41344215acd2c6bd92d6cf7c1de244db87dcf7ad

return directly if specified specfile is not in a git project

Also change the msg type from debug to warning.

Change-Id: Ib147d051289842df355e0fc16ff1b461f8594251

Check return value of 'gbs export'

* Fix #403. Exit with no-zero if any error occurs.
* Show error summary at the end. There are three types of errors:
    exporting error, dependency error and rmpbuild error.

Change-Id: I42128c327266f6b4f215ed708fd8caf18452d829

Incremantal build on dir that contains only one packages

* Fix #400
* Record project base path of packages in %to_build, this base
    path will be used for mount command in incremental building
* Project base path can only be found in git style packages

Change-Id: I3412a6005d1f80c8b01544f705041e26d5150b1c

Only import getpw() when using User::pwent

Otherwise this module will overrite default function getpwuid()

Change-Id: I2bb07069204c8cc6f6b6b2f0644e8e14f68ae02e

run sudo -v outof scheduler in main thread

This also can fix an endless running error if sudo -v timeout in
sub threads

Change-Id: I3c23328279971784651281dfa57927dfd6787b3d

extend ~ in env variable

extend ~ of $ENV{'TIZEN_BUILD_ROOT'} for #485

Revert "Remove trailing slash for proxy env."

Sorry, but proxy settings and handling is not part of depanneur, fix it where it occurs.

This reverts commit c5c7b796ad5d67c6bf5fb0e9e7d1c7d7443ae4e7

add alarm to execute "sudo -v" periodly

Avoid inputing twice password when building a package last long
time, in main thread add alarm to execute "sudo -v" periodly.
fix #460

"^C" problem when multithreads stop at "sudo -v"

when multithreads stop at "sudo -v", you need input ^C more than
one time to terminate depanneur. The reason is main thread blocked
by "lock($DETACHING)" and it can't response to ^C immediately. So
use another lock variable "$SUDOV_LOCK" for "sudo -v".

Add --debug parameter to gbs export if debug on

Fix #402

Change-Id: I6b3e3d117b03a687e0d3408f3db5de5ae63555c6

More clear and readable info for final error report

for build error packages, build log is printed, and for
expansion error packages, details expansion errors are
printed. fix #462.

Change-Id: Ie6b03dec2f61baf7494d48a0af5bbc2b5c0a3f2f

Unify color of debug message in gbs, gbp and depanneur.

Fix #450.

Change-Id: Ic51970c7b656e843154f3310b31094129a4edb5c

Remove trailing slash for proxy env.

Fix #467.

Change-Id: I3dd6957593b3b9645f08dc936afe439ee0acebd9

Support multi spec files in single package.

fix #438.

* get all spec files in fill_packs_from_git()
* split codes that deal with reversion cache codes into three
    functions read_cache(), write_cache() and clean_cache()
* split exporting codes into gbs_export()
* split codes that query git reversion into query_git_commit_rev()
* add a debug message for my_system call
* comment a debug message of checking dependence, it print out
    every second and overwhelm other useful debug message.

Change-Id: I5b295015818d9953b34386e65c74c1b204ede120

Add function worker_thread to cleanup thread status in one place.

The exit condition in main thread loop is to check whether all
tasks had been completed, so any thread should update @done var
when it's about to exit, otherwise main thread would wait it
forever.

Add a function worker_thread which take the jobs of calling detach,
update @running, @done, $dirty, @errors according to value returned
from build_package which focus really on building package.

Change-Id: I2d5bba3265f15b48a853155d9b607edc39800256

fixed error messages

use bsd_glob instead of glob in func build_package

On openSuse 12.2 with perl 5.16 there is 'Segmentation fault'
caused by multithreads while running a depanneur

Check if getlogin fails use getpwuid($<) instead.

getlogin may return empty string in active directory authentication
system, in this case getpwuid($<) is used instead.

Change-Id: I2bfe65caf0518e4eb187fee5c817355988b78bb5

Use '/' as VIRTUAL_ENV if VIRTUAL_ENV not set in %ENV

Change-Id: I81c7e3993e533c8168541a8dedfd610b70f88e69

Set ENV variable in main thread.

Change-Id: If968325d996cd991db01887073d4d20af90450e2

Don't call exit() in thread.

fix perlcritic's warning

eliminate warning of serverity 5 reported by perlcritic

- code after "use strict"
- default value for $ENV{VIRTUAL_ENV}
- use lexical file handler instead of bareword file handler
- use three-arguments of open
- use "return" instead of "return undef", the latter could evalute
    to one-element list (undef) in list context

Use absolute path for --path.

- fix bug: can't find spec file if --path is a relative path
- remove tailing white spaces
- remove useless variables in git_wanted
- remove useless $config argument when calling fill_packs_from_git
- remove useless sub wanted

Add missing i386 to the x86 arch_list

Otherwise some builds with deps to .i386 rpms may fail.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Remove prototypes of subroutine.

Prototype of sub may lead to confusion and is not recommended.

Lock $dirty to fix for Issue#388

Change-Id: Ic01d2469c5d50d07dd2988e004711822371b7b9f

report error if building multiple packages for incremental build

Change-Id: I759d302f46400f6aba7d4c3445dcb9847885adaa

show full build log path for incremental build

for incremental build mode, this patch is necessary, as if buildlog
is redirectted to /dev/null, some user don't know where's the log,
and the build results.

Change-Id: I738193275bc5ecc5cd42b9fb0c8df2a879ac2530

--clean option should not be used for incremental build mode

If --clean option used for incremental build, all source code will be
removed.

Change-Id: Ie1caa94f57c1a2285d6ecc7c076c2011f91bc559

exit thread if killed in the middle of creating build root

Change-Id: Ia1ada20f3a521ed4d78b08e18c871c83a4e159f8

Support local plain RPM packages dir

Change-Id: I30d71f8a23aacbf97d2322f5f3b0d7b5283abc13

Remove old source rpm packages to build again

Once gbs export execute, that means source code changes, so we need
remove exists src.rpm to make depanneur build these packages again.

Without this patch, user have to specify --overwrite even if source
code changed.

Change-Id: I0222833049216b086d1041ce3285acec4fbdcf04

Add three extra options for gbs export while generating tarball

* -upstream-branch: default is 'upstream'
* --upstream-tag: Upstream tag format, e.g. 'v${upstreamversion}'
* --squash-patches-until: When generating patches, squash patches
  up to given commit-ish into one monolithic diff file. Format is
  the commit-ish optionally followed by a colon and diff filename
  base.

Change-Id: I95c2baa19cf0ba65cb0c4d7cf995efe777933995

Use lower case letter to be consistent with gbs

Change-Id: I3e0f20bafda060e7840b055a39e150b5bc82205d

Kill threads correctly if press Ctrl+c instead of real passwd

Change-Id: Ib4f366f5beb0a0c90e6475ef491e89ea6852c84b

write export cache after gbs export succeeded, fix#362

This patch can avoid inconsistance of source cache file and source code

Change-Id: I8129f93ea161b0909cafeb9195df5b1b850ab687

Ctrl + C refinements

1. Change signal handlers while starting building packages
2. rewrite system(), as standard library of system ignore INT signal
   which result in Ctrl+C can't be catched once system called.

Change-Id: I4ef7c4e1b308d387d8c3bf43f1549145d27c200d

more check about specfile

Change-Id: I8f2aafc7fdf8976613af2d3d46cc1ba5cf62dba0

consider local RPMs generated using local source code

generate RPM order data for local RPMs of local source packages,
which would be merged with order data generate from repos configed
from repos.

Change-Id: I73799d558a2cdf3c6c3ed1657eacf2dc032b98ef

only update packages dependency with expansion error

only packages with expansion error are needed to parse if local repo
has new RPM generated, which can speed up pkgdeps refresh process.

Change-Id: I9c1dc3bf59f399caaaab65f2c1d65bf106183c34

Check the existance of RPMs and log before copying

remove 'die ...' in threads, or build threads will exit abnormal,
and make whole build status inconsistent.

Change-Id: I4063551cc40787d37093208100322ffe2637c09e

Handle the temporarily expansion error.

Two kinds of expansion errors:
 1. Real error: can't be resolved by both remote repo and local source.
 2. Temporary error: will be satified by local source.

Change-Id: I7279648fdac73644fbbe92c2440af5c9f52d4585

revert 341064: move buildlog to avoid copying by mistake.
delete the build log after build finishes.

Change-Id: Idf34316d3461315dd5cff3a82dd7739cd8c1f991

Add packaging files

$ cd packaging
$ make all

Change-Id: I804e7376f1ce740a241565ce16eda376a63b11f4

move buildlog to avoid copying by mistake in next build

For example:
run depannur to build ail succeeded, and the build log left in that
build root, next time run ail again, depanneur request root passwd
and user cancelled by Ctrl + C, then the build log for previous build
will be copied to fail dir by mistake.

Change-Id: Iff50f4a1378ba135c6763fc6f279bc689a6928ef

check and use scratch.incremental first

Without this patch, if scratch.incremental already exsit and
scratch.{arch}.0 exists too, depanneur still need to create new
scrach.incremental buildroot

Change-Id: I26855f36eada3216c9f7ea75efe2967b93ad1301

call sudo -v with lock protect

Without this multiple thread workers may request passwd at the same
time, then depanneur will destroy current terminal or system.

Change-Id: I784a9474d8c182e4429085962f41b0f81149b890

Use remote RPM to build if its dependency has expansion error

Without this patch, if one packages has expansion error, all packages
depend on it will be reportted as expansion error, even if it can be
built from remote repo.

Change-Id: I040467899e61c433896fcd640a4a225c78781d3a

Add missing $dist dir while reporting error log

Change-Id: Ibc75c9b7780ff1c680dea4c4b0c96d7a41cadced

resolve deps before running scheduler #336

This is refinement about current scheduler to speed up resolve
dependency. Generate %pkgdeps, which is a map with key as pkgname,
and value is a list of dependencies. %pkgdeps can be used directly
by scheduler and don't need parse spec file everytime.

This patch also update %pkgdeps once local repo has been updated.

This also can fix #336, #337.

Change-Id: I6289a8df14d8cb027c6f6494efb4f45910d24fe2

error handle: return directly if specfile parse error, #335

Change-Id: Ic043076c25864ff5301db17f5e5475051c145fc4

Add --ccache option to speedup build using ccahe

Change-Id: I91f4cab5c13b715632b419b388063bacc92edbf0

Refine scheduler to keep max threads running #269

If there're free build threads idle, calculating new ready packages to
be built immediately. Don't need wait all candidate packages built finished.

Change-Id: Idc4c03f038de6215744024abdf5aa22ea3663e21

sort workers use the first idle thread to build packages

sort workers using keys to use the build worker with smallest
id. Without this patch build worker use order is 1,3,0,2,...
but it should be 0,1,2,3,...

This is necessary to make gbs back compatible while building single
package.

Change-Id: Ief248542194d697535387753a13200b426b8fcb6

Ignore exclude packages in parsing phrase

skip exclude packages while parsing packs, and don't need care about
exclude packages in build scheduler, and make scheduler more clear.

Change-Id: I02be218bf0c329d6953feea5b61759dd5e0c2a3d

add --extra-packs option to add install additinal packs to build root

This is very usefull for developer to create full build env, including
many dev tools, such as vim,zypper,gdb, ect.

Change-Id: Ie4032e9525bc3f1b91cda2921103008bbff40119

remove export cache if gbs export fails

Change-Id: I48264a6bac288c5de3ca3e4a548f14e0ad532338

Add --clean option if build root is not ready

Change-Id: Ibf2347a1f7ddb8d6f713014f17428ad1e93fe8a1

return 0, instead of 1 while incremental build finished

Change-Id: I05bffaad99293f5b0ece63aac0c1b9e20e2f4418

remove --turbo option

download repodata code has been move out of scheduler loop and
createrepomddeps can reuse local repodata cache, so this option is
useless now.

Change-Id: I194c8329acd3016953c9e7aa4bc25ded39299d96

Give error and exit if no packages found

Change-Id: I084324a5b202dd6688cf932c121edcfacdbece92

share cached repodata between depanneur and build, #291

Change-Id: If6a114faaa3e9eeacc4e0b2c40db5b9b1506a0e9

Fixed typo

Change-Id: If770918f2de99959a9e416d01ba8c2bce032b9c5

add --include-all and --commit option for gbs export use.

generally --include-all and --commit options are used to build
single package. if build multiple packages, --commit is not available.

Change-Id: I7b13257f458bedc6b3313bb70fb0ab7d644f7d8c

Adjust the output information to make it unified with gbs

Feature#287

Change-Id: Iff17ff59112c8ad3bc0af41070146fd035a5fcb9

more code optimizations

1) move creating repo cache code out from scheduler loop, and repo
cache should be generated before using it, or --binary will fail
to find repo cache file.
2) move finding skipped list packages out of sched loop

Change-Id: I5278d8183b5a635c41ac3176c1a09420c8617ff0

Merge branch 'typo' into devel

add --configdir option

Change-Id: I8980723c68088640170264f92d6efbc2b6f9d79e

use --repository instead of --rpms

always set local repo dir as the first repo, so that build can using
local packages as higher priority to create build root.

Change-Id: Idde5ef5fdb0fdbd16ac53724484eb136782778ad

add --repository option

If --repository specified, repos in conf would be skipped.

Change-Id: I527ebdc870d1c87397e581581d944f92ca65025a

fixed typos

Change-Id: Ibaa5a087b2210aaed5da8e37adb9e38280b3d419

remove unused file

Change-Id: I0c94b971f38ef8214072a8681a547a1e84f2ff33

add debugging, touch repos

Change-Id: I4ed0883810eead616638b774889aaa0fb99d6974

handle exclusivearch correctly

Change-Id: I0a6ecc51c6179f0cc6467550d0723a7d15ef7876

construct build  command using array

- construct build command for various scenarios using array
- added turbu commad to skip repo parsing step,
  useful with incremental builds

Change-Id: I02ebf558b4088d393ac8c0c1ab97576fc0ad616e

remove unused options, add help

Change-Id: I9ed337d3b1732303bf915c7cca9fb35987da6dfe

remove unused options, add help

Change-Id: I73e2961ae358763f59669d3713e6c167827f2016

do cross compiling for arm

Change-Id: Ibeb843614e5f3ffc508b311d77880fbc0fb37256

first attempt to build arm packages

Change-Id: Ib2b190c711281b44744d6f7298f596d102f7a1cd

fixed mount path

Change-Id: Ie5f8504c908a8f14e7e1d86eb494558f51c894f1

fix deps for images

Change-Id: I1651d6ce0b53e46f4f7a7564e1d347aebe75846e

remove external scripts

Change-Id: I406f5f6392b00d4c74bd21381561c6eb66452d01

more optimizations

Change-Id: Id616ffb9e30e92f82a91d0d57b8aada5053f8902

more cleanup

Change-Id: I5c6331040d6e2d80ff8e7d7a519c5ca456e71f4b

and more cleanup

Change-Id: I80a2637458b240b3a3c65badd198b4675dc0e682

image dep calculation

Change-Id: I2e5b78e7118a2a2d55d33b56cf4a48c8475567ed

move dep code into sub

Change-Id: Ib9c812adb02bc0c0f09294391285931283b3593e

more cleanup

Change-Id: I935e19da8bcdca5ff0efe5cbd191822da2157f70