Add support for nested Lua macro expansion (RhBug:490740)
- Lift the printbuffer accounting out of rpmlua into a struct of
  its own (Funny thing, this looks a whole lot like the macro
  expansion buffer and Good Ole StringBuf Brothers ... Boys ... Mam.
  Unify them one of these days maybe)
- Replace the simplistic on/off printbuffer with a stack of buffers,
  fixup the lone caller to use the new internal push/pop API.

Plug a memory leak on Lua rpm.expand()

Bail out of debuginfo if stabs format encountered (RhBug:453506)
- The previous "silently ignore" policy produces bogus debuginfo
  packages on some architectures and fails with other mysterious
  errors on others, better just fail hard until (if ever) somebody adds
  stabs support.

Fix %prep parse error to abort build
- Previously in some cases parse error in %prep could emit an error msg
  but still continue building due to error code bogosity. Clean up
  the mess a bit: assume failure and actually return the res(ult) we
  calculated instead of nextPart.

Cosmetics: remove redundant/empty doxygen markup, comments etc
- No functional changes.

Remove unused length return variables on doHeaderUnload()
- doHeaderUnload() is safe to call with NULL lengthPtr, the length
  is only of interest to headerRead() and headerWrite()

Handle HEADERFLAG_SORTED bit correctly in headerUnsort()
- Within rpm there's exactly one caller of headerUnsort() which has
  kinda taken care of re-sorting the header on exit, but only if it
  returns successfully, meaning the header sort status could've been
  left in inconsistent state with implications on consequent
  operations on that header. Also this is part of the public API
  yet callers have no chance of adjusting the flag when they call it
  (and why should they).
- Also dont bother sorting if the header is already in unsorted state.

Return explicit NULL on errors + frees in header code

Do not die on empty changelog section

Signed-off-by: Panu Matilainen <pmatilai@redhat.com>

Distinguish between macro primitives with and w/o arguments
- do argument presence checks only for those requiring arguments

Add support for fileattr dependency namespacing
- This allows automatically wrapping generated dependencies into
  macro-expanded namespaces, eg foo(depname) by specifying
  __attr_namespace in the file attribute definition.
- Current generator scripts hardcode their namespaces but doing this
  on rpm-level gives extra flexibility eg when building for alternative
  versions/environments and frees generators from having to take care of
  the formatting.

Whoops, flags needs to be sorted for argvSearch() to work correctly

Unify fileattr include- and exclude-rule handling
- Handling both rule-types identically not only makes things more
  consistent but also adds exclude_flags support practically for free:
  "exeonly" and "magic_and_path" are usable for excludes too now, ditto
  for any other flags that might be added in the future.

Don't fetch missing sources on spec query

Unbreak %if, %if(n)arch, %if(n)os handling
- having those expressions without argument is no more allowed
- white space between expression and argument is mandatory
- rpmbuild no more confuses %ifabcd macro with %if abcd
- fix criptic message in case of invalid %if condition

-D is for --define, not --predefine (RhBug:706161)

Support "magic_and_path" flag in fileattrs
- Allow "magic_and_path" flag to configure that files must
  match both regexpes to be sent to the dependency generator.

Signed-off-by: Panu Matilainen <pmatilai@redhat.com>

Remove redundant NULL checks
- Fclose() handles NULL by itself, no need to check in callers.
  Also no need to NULL'ify the local variables here.

Fix error handling in payload copying
- Lift the payload copy into a separate helper function to clean
  things up a bit
- The code to handle read errors was unreachable before this,
  causing any read error (rare as they might be) to be silently
  ignored and package generation considered successful.
- This could/should perhaps use ufdCopy() instead but that ha
  its own set of problems (not clean wrt large files, error reporting...)

Eliminate dead cpio_copy() + related stuff
- These code-paths cannot have been hit since readRPM() was
  killed, mop out the leftovers

Update translations to pick up changes from the script file cleanups

Further simplify & cleanup script file (error) handling
- Simply always call addFileToFoo() and handle no scriptfile condition
  as early success case there (and allocate sb only if actually needed).
- Consolidate error logging into addFileToTagAux(), removing the need
  for umphteen nearly identical rpmlog error messages + related logic.
- Eliminate the now pointless addFileToFoo() wrapper functions
  and just call the main thing directly.

Clean up addFileToTagFoo() helpers
- Centralize the work into addFileToTagAux(), turning the other
  two helpers into dumb wrappers with the only difference being
  append or no append. This simplifies and clarifies the exit
  codes, stringbuf allocations etc a good deal.

Minor cleanups to cpio_doio()
- Remove redundant rpmtsEmpty(), this is done from rpmtsFree() anyway
- Dont bother NULL'ing local variables at exit

Simplify rpmio flags handling in writeRPM() / cpio_doio()
- The payload macros are already expanded in writeRPM(), no point
  re-expanding in cpio_doio() and handle fallback to default gzdio
  in writeRPM() already in case the payload is not set in config
  or is bogus. Also rpmExpand() cannot return NULL so there's no
  point in checking for that.

Plug a minor memleak on writeRPM() error paths

Signed-off-by: Panu Matilainen <pmatilai@redhat.com>

Eliminate bogus ferror() checks
- fopen() returns NULL on errors, never an opened stream with error
  flag set. These are leftovers from past where rpmio fd was used
  instead of FILE and probably the checks were bogus even back then too.

Always copy macro source when expanding it
- A macro can undefine itself, and unless we grab a copy of it we'll
  end up accessing already freed memory. Fixes a regression from
  commit ebc4ceaaeb8bb59019f4635471b28eb5f3eaaaa6 which assumed
  a copy is not always needed.

Signed-off-by: Panu Matilainen <pmatilai@redhat.com>

Empty transaction is not an error (RhBug:699929)
- Empty transaction just means we have nothing at all to do,
  but it's not an actual error.

Do not abort if chown/chmod fails but the file is already correct
- This small patch makes rpm not abort the installation if
  chown()/chmod() failed but the files already have the correct
  ownership/mode. It also allows a failed mtime update on directories.

Signed-off-by: Panu Matilainen <pmatilai@redhat.com>

Fix segfault on build with empty %prep section

Signed-off-by: Panu Matilainen <pmatilai@redhat.com>

Fix "method not permitted before handle's open method" on --verifydb
- In verify mode, the db is not really opened, thus it's an error
  to call dbiFlags() which calls db->get_open_flags().

Signed-off-by: Panu Matilainen <pmatilai@redhat.com>

Clean up file type verification logic a bit
- Non-regular files mostly share the same unverifiable properties,
  no point in listing all the cases separately. Links are a notable
  exception in that they're different from everything else, handle
  that separately.
- Also clean up other formatting: wrap lines at a better point +
  avoid multiline-comments when single line suffices.

Remove obsolete timedRead() from API

RIP rpmsqFork() + rpmsqWait() and the related bits
- Also remove additional thread protection: we're not supporting
  threads anywhere else either. If/when thread-protection is added,
  this is ulikely to be the first place anyway...

Use good ol' fork() + waitpid() for running scriptlets
- We have no need for anything fancier, this makes 80% of the
  overly complex & subtle semi-threaded and in places just broken
  code in rpmsq.[ch] unused and unnecessary.

Remove unneeded regex grouping.

Signed-off-by: Panu Matilainen <pmatilai@redhat.com>

Comment spelling fix.

Signed-off-by: Panu Matilainen <pmatilai@redhat.com>

Add lrzip support.

Signed-off-by: Panu Matilainen <pmatilai@redhat.com>

Add lzip support.

Signed-off-by: Panu Matilainen <pmatilai@redhat.com>

Remove duplicate fpLookup() doxygen annotation

Remove redundant strlen()'s on sha1 digest verification
- string comparison notices different length anyway, avoid going
  through the same data twice

Avoid malloc() + redundant strlen() calls in dbiFindByLabel()

Simplify findTag()

Fix find-lang so that it finds *@*.qm QT i18n files (RhBug:699945)

Understand 'PK00' zip archives (RhBug:699529)
- it is historically used by PKZIP when storing archive to removable
  media (floppy), some java apps still use it
- thanks to Karel Klic

Do not compile unused functions when SELinux support is disabled

Handle errors from moving target file into place in rpmSign()
- Signing isn't successful unless we manage to replace the original
  file with the signed one, take the stat() etc returns into count.

headerPut() and headerDel() returns aren't interesting here

Remove redundant indentation block from rpmSign()
- No code changes, just formatting sanity/prettiness

Just ignore miFreeHeader() return on rpmdbNextIterator() too
- There's no meaningful way to return a write-error here,
  rpmdbNextIterator() caller wouldn't know whether NULL at termination
  is early due to error or not. So just ignore the return from
  miFreeHeader(), it can only fail on rewrite mode (ie markReplacedFiles())
  so impact is rather limited anyway.

Ignore dbiSync() return code everywhere
- Since we're not checking the return then dont bother storing it either.
  The sync is fairly unlikely to fail if other operations succeed
  as sync failures generally revolve around invalid file descriptors etc.

Oops, thinko/typo in commit 8215e17c248f91f501bd8a2968dfadf896a350ce

Remove pointless xx tmp return code from dbiAppendSet() result

Eliminate last three assert()'s from the backend
- We can trivially handle these "can't happen" cases as EINVAL returns
  instead of blowing up, do so.

And finally at six feet, the old cursor api is officially dead
- Inline the last remains into the new api, handling NULL pointers
  more gracefully than the old version

And another foot deeper...
- Inline dbiGet(), dbiPut(), dbiDel() and dbiCount() implementations
  to the new interface

Bury the old cursor api one foot deeper
- Make it static and move doxygen bits to the new API, adjust as necessary

Convert the other (rpmdb iterators etc) uses to the new cursor api

Convert local-only uses of DBC to dbiCursor interface

Add a db cursor abstraction and interfaces for using it
- Callers are currently required to pass all sorts of unnecessary
  gunk to the cursor operations just for performance statistics
  etc, and the interface doesn't match the uses inside rpmdb.c
  very well. This adds a more "rpm-style" interface around the
  BDB API.
- Cursor open + close can only fail on invalid arguments (which would
  be programmer errors), and various conditions on replication which
  we dont care about. So we essentially ignore the errors, except
  for cursor open which will return NULL to indicate an error.
- As an intermediate step, these are just wrappers to the older
  dbiFoo interfaces to permit converting things to the new interfaces
  piece by piece.

Rename _dbConfig and _dbiIndex structs to common foo_s style
- No functional changes, just renaming to be in line with everything
  else (for better or worse)

Remove non-cursor support from dbiDel(), dbiPut() and dbiGet()
- Previously these functions would silently fall back to non-cursor
  access when (accidentally) called with NULL cursor. This can lead
  to different results for cases where cursor is actually required,
  without any indication of it being an error. Make them fail
  with EINVAL for NULL cursors so it gets trapped in rpmdb.c uses.

Return explicit NULL's from db iterator free functions for clarity

Ignore error codes in rpmdbIndexIteratorFree()
- Similarly to commit b35081600135b4a3d54fa7e832125a89d3bdee48,
  we can't do anything about dbiCclose() failure here, just ignore.

Ignore error codes in rpmdbFreeIterator()
- We can't do anything about miFreeHeader() or dbiClose() errors
  here, no point storing them to temp variable either. Error on
  miFreeHeader() will at least log something on header rewrite-failure.

Attempt to fetch sources/patches when they are missing from %_sourcedir
- use _default_source_url macro to specify default URL when it is
  missing from the spec Source/Patch line
- this feature can be disabled by defining _disable_source_fetch to 1

Give at least some indication of error from fchdir() failures
- Failure to return to current dir is likely to be lethal, at least
  log an error and return a different code for it.

Use rpmsqFork() return code instead of semi-private struct member for pid
- rpmsqFork() behaves like regular fork() in this regard so this
  just makes the code more obvious and eliminates an set-but-unused
  warning while at it.

Fclose() and unlink() errors aren't fatal here, just ignore

Catch write errors when generating scriptlet temporary files
- If the write fails scripts are likely to fail anyway, but executing
  partial scriptlets (unlikely as that might be) could have funny
  side-effects besides just failing.
- Also cleans up runExtScript() a little bit by moving the
  tmp file creation to a separate function.

Improve fsm error code handling in psm
- Move the fsm execution to separate helper function, returning
  the most relevant exit code: if fsmSetup() failed then teardown
  return doesn't matter, but fsmTeardown() can report errors
  from missing hardlinks which we haven't checked until now.
- This also fixes enum vs int abuse on the exit code: fsm return
  codes are cpio error codes whereas psm codes are simple ok/fails.

Actually handle headerGet() / pgpPrtPkts() failure on signature verify
- Failure to decode the hash algo here would probably trip up something
  later on in the verification but...

Eliminate unused variable in rpmpluginsAdd()
- dlsym() can return NULL without it being an error, and since we
  use dlerror() for determining the error anyway, supportedHooks
  is simply unneeded here.

Restore previous vsflags on return from rpmInstall() and rpmErase()
- Nobody is going to care really but since we bother remembering
  them we might as well restore them too, silencing another two
  set-but-unused warnings (this time semi-meaningful even)

Eliminate another set-but-unused xx warning
- There's no meaningful way to return error from rpmdbExtendIterator()
  in rpmFindBaseNamesInDB() so dont bother collecting the result.
  At least there'll be rpmlog spew on errors so it wouldn't be
  silently failing.

Reflect file classifier errors in rpmdeps exit code
- rpmfcClassify() or rpmfcApply() failing is pretty fatal to rpmdeps,
  exit with error code
- OTOH argvAdd() and argvSort() can't really fail, ignore their return
  codes, shutting up another set-but-not-used whine

Remove yet another pointless tmp variable
- Since we're not really interested in rpmdbClose() or
  rpmdbRemoveDatabase() error codes when rebuilding, just ignore
  their returns

Collect proper exit status from rpmdbRemoveDatabase()
- The single caller doesn't actually care about its exit code
  as its not particularly important in that case but .. shrug,
  at least it silences a warning.

Ignore rpmdbClose() return on failed rpmdbOpen()
- We can't do anything about it so just ignore and remove the
  unused variable

Clean up urlGetFile() return values
- Its callers only care about success vs failure, so only ever return
  0 or -1 and take waitpid() errors into account too. As a side effect
  shuts up a set-but-unused compiler warning too

Remember to free db index iterators too on forced termination

Fix dangling databases from iterators (ticket #820)
- Call rpmdbClose() instead of rpmdbUnlink() on iterator free to
  actually close the db when refcount goes to zero. This
  fixes the situation where a caller closes a database handle
  while iterators are active: the iterators stay usable and close
  the db when the last one exits.

Only muck with signals on first and last db open/close
- Signals are per-process global, as long as there are other
  databases open (or references to the same db) we shouldn't mess
  with them. Less important on open, but if somebody is changing
  rpmsq-handling we shouldn't override that either.

Extract perl dependecies from "use parent qw(Foo)".

parent is a successor to base, with similar functionality.

Signed-off-by: Panu Matilainen <pmatilai@redhat.com>

Honor $TMPDIR in various scripts.

Signed-off-by: Panu Matilainen <pmatilai@redhat.com>

Unbreak obsoletes from commit b1a4b57315d31ba98bc0e5803db1ebc2517f6bb5
- rpmdsMatchesDep() only works with RPMDBI_PROVIDES, not RPMDBI_NAME.
  Revert that part of the change.

Dont reference transaction set from transaction elements
- Elements referencing ts prevents rpmtsFree() from freeing anything
  unless the caller does rpmtsEmpty() first. Oops. Undo the braindamage
  from commit 8f7c2d7063df6d1057425d014ce4168d46c5e7d9.

Don't list packages which will not be created in spec query (RhBug:693338)
- particularly, while doing "rpm -q --specfile <a spec file>"

Update INSTALL a bit, include blurb about the test-suite + fakechroot

Only enable test-suite if fakechroot is available

Execute all non-compilation rpmbuild tests in fakechroot
- Except for four rpmbuild tests which rely on an actual compiler
  being available (faking *that* would get entertaining...), the entire
  test-suite is now executing everything in the fakechroot environment.

Add more stuff to test-suite root environment
- Build needs a whole bunch of utilities there, including file + its
  magic database. The exact location of the magic db varies between
  systems but file -C lets us basically make a copy of the system magicdb
  into the fakechroot env and then we can override the location with MAGIC

Switch more test-suite builds to run under fakechroot
- This leaves only the "real" builds where the packages contain files
  to be executed outside fakechroot

Run dependency tests entirely in fakechroot
- All the packages here have no files making them "easy" to build
  inside the chroot

Prepare the test root entirely from Makefile, add missing bits
- Running builds in fakechroot needs a whole lot of things.. add symlinks
  to various system config + dev files to give some trivial packages
  a chance to build under fakechroot

Remove redundant data copying into test-suite root

Avoid leaking our compilation directory into test-suite
- Since they're running in fakechroot there's no need to arrange
  user writable directories this way

Adjust rpmdb path for all remaining non-fakeroot runs
- Executing rpmbuild in the fakeroot gets fairly tricky, especially
  for the tests that actually compile things. Overriding the dbpath
  prevents it from accessing system rpmdb for keyring and build-requires.
- With this patch, the test-suite now passes the smoke-test of
  "chmod go-rx /var/lib/rpm" on system rpmdb.

Adjust rpmdb path in python tests
- We can't run python easily in the chroot so override the dbpath
  to our test area instead of potentially accessing the system db
  for keyring etc