Add tests to verify on-disk status after install+erase

Add test to verify status of installed files

Remove unnecessary fiddling with rpmte internals
- rpmtsClean() will free the transaction element we added and rpmteFree()
  will in turn close the file descriptor, free headers etc

Include rpmfileutil.h from rpmmacro.h so that
prototype for rpmGenPath() is included (rhbz#473420)
- unbreaks net-snmp

Retrieve header from rpmdb on rpmteOpen() if possible, even for TR_ADDED
- as rpmte now knows if it was already installed and the exact rpmdb
  record, we can avoid having to re-re-re-open the package in %posttrans,
  this means yum & the like can throw away package immediately after
  it was processed (rhbz#457126)
- rearrange rpmteOpen() code a bit, split the actual header retrievals
  from fd/rpmdb to separate static helper functions

Set/clear rpmte db instance on RPMDB_ADD / REMOVE from psm
- transaction elements now know their real status all the time now

Record header instance on rpmdbAdd() on success

Add and use (internal) method for setting header instance
- avoid mucking with header internals directly...

Move install langs to per-transaction level
- install langs is clearly a per-transaction thing, avoid checking
  and splitting etc over and over for every package
- also if any of the %{_install_lang} is "all", disable all language
  processing as we'll be installing every language anyway

Move netsharedpaths to per-transaction level
- netsharedpaths is clearly a per-transaction thing, avoid checking
  and splitting etc over and over for every package

Eliminate unused filename field in rpmts_s

Read default popt aliases again (rhbz#473167)
- makes testsuite depend on local aliases but using default popt config
  is widely documented and needs to work, testsuite needs a better method
  of disabling it if necessary

Unify dbiIndexSet allocations, allocate in power-of-two sizes
- allocating in even sized chunks helps avoiding crazy memory fragmentation
  when resizing a lot (rhbz#472507)
- HEAD doesn't really need, rpm 4.6.x does, but doesn't hurt either...

Use proper type (unsigned) for index set offset/count

Delete _dbiIndexItem.fpNum as it is no longer used and also does not really fit in there

Delete rpmdbFindFpList and skipDir
as those are replaced by rpmFindBaseNamesInDB
and parts of checkInstalledFiles

Oops, it wasn't unnecessary include afterall..

Remove unnecessary rpmfi_internal.h include

Add + use internal rpmteHaveTransScript() function
- struct rpmte_s is now fully opaque within transaction.c

Eliminate the now unused ts element field of file info sets

Eliminate rpmtsiFi(), use rpmteFI() instead
- rpmtsiFi() is only used within iteration, so we already have the
  element, no point in recalculating it
- also eliminates the sneaky side-effect of setting fi->te which otherwise
  wouldn't exit

Avoid unnecessary use of file info sets transaction element
- ts element is available, no need to go backwards

Drop the useless "tag" argument from rpmteFI()
- only RPMTAG_BASENAMES was ever allowed as the tag, makes no sense
- API change but AFAIK nothing outside rpm itself uses it anyway

Eliminate silly rpmfiTypeString()
- Transaction elements are install/erase type, not file info sets,
  rename to rpmteTypeString(). It's only "useful" for fsm internal
  debugging messages, hide it there.

Eliminate fi->te use in fsm

Pass rpmte to fsmSetup()
- fsm needs the transaction element for progress notification and
  element type anyway

Remove bogus consts from fsmSetup() args
- rpmfi is messed with (at least file actions)
- const on typedef'ed type doesn't mean a thing anyhow

Use rpmteNEVRA() for scriptlet messages now that it's possible

Increase memory limit for LZMA compression
so that everything up to level 9 gets safely
expanded

Initialize the LZMA encoder/decoder on demand, not both

Fix up couple of missed pieces rpmffi_s fi->te switchover

runTransScripts() don't need no steenking rpmfi's now

Lose unnecessary and silly rpmpsmGetTs() internal func

Resurrect rpmVerifyScript()
- fake up a transction element set that we can use to convince psm to
  execute the script
- a bit hacky but by no means worse than the former fi->h abuse with
  scaremem and all

Rip the remains of fi->h in psm
- erasure doesn't need the special casing anymore
- remove useless comments

Use ts element, not fi header for PSM_PKGINSTALL (PSM_POST + PSM_INIT)

Use ts element, not fi header in PSM_RPMIO_FLAGS and PSM_RPMDB_ADD

Make psm scriptlet operations use ts element header instead of fi
- this breaks %verifyscript operation (temporarily)

Lose now unnecessary PSM_RPMDB_LOAD stage and rpmpsmSetFI()

Rework rpmtsProcess() to use rpmteOpen+Close for both install and erase
- both cases behave fairly symmetrically now
- helps streamlining the process, we get the transaction element and
  file info for it before creating the package state machine so we dont'
  need to fuss around with updated file info etc

Teach rpmteOpen() and rpmteClose() about TR_REMOVED type
- for open, fetch the header from rpmdb, closing is nearly a no-op
- allows install and erase behave more symmetrically, and also paving way
  for better erase callback notifications and other things
- watch out for them refcounts...

Record failure of install/erase into transaction elements
- add rpmteMarkFailed() (internal) and rpmteFailed() methods to rpmte
- skip any elements marked as failed in rpmtsProcess()
- this is fairly close to the previous "now mostly broken" hack, except
  we remember more than one failure so it's slightly better and it's
  possible to do much better by making rpmteMarkFailed() smarter

Change rpmffi_s to contain a rpmte instead of rpmfi to be able to get rid of fi->te

Don't bother zeroing rpmte twice on free
- delTE() already zeroes it out

Add rpmhash.[CH] to EXTRA_DIST so they get included in tarballs

Switch rpmfiUpdateState to the new ->replaced API
and free the additional allocated but unused memory

Kill handleRmvdInstalledFile by moving remaining code to checkInstalledFiles
Switch to strict use of rpmtd accessor functions

Port LZMA (XZ) support to the new API
- get rid of the obsolete "alone" LZMA file format
  and hacks around it

Use the new LZMA (XZ) magic

Move transscripts stuff from rpmfi to rpmte
- transaction scripts have zero to do with files...

Unify statistics timer calls for install+erase

Unify install+remove logging, unnecessary code duplication..

Lift the main install+remove loop out of rpmtsRun()
- no functional changes

Fix timings and no longer pass the file count more than once.

Remove check that is commented out since ages

Remove no longer needed sharedCmp

fix statistics for looking up symlinks

Reimplement the check of the files in the transaction against the files in the rpmdb.
Use a global list of packages/files from the rpmdb that may conflict with files in the transaction to avoid loading packages from the rpmdb over and over again.

switch to new rpmfiReplaced API

API for accessing and creating fi->replaced
 - new API is not compatible with accessing fi->replaced directly!

Expose rpmdbSortIterator in rpmdb_internal.h

Add rpmdbExtendIterator to do repeated searches

Support leaving HTDATATYPE undefined to use hash as key only hash (set)

Add couple of tests for symlink <-> directory behavior

Remove RPMCONFIGDIR sedding from Makefiles where no longer necessary

Don't bother setting rpmrc specifically in tests
- RPM_CONFIGDIR environment is used

Remove -DRPMCONFIG from CPPFLAGS where unnecessary

Use %{_rpmconfigdir} throughout configuration macros and such

Set _rpmconfigdir macro on initialization

Use rpmConfigDir() instead of hardwired path for rpmrc + macro locations

Use rpmConfigDir() instead of hardwired value in Lua initialization
- userconfig is actually unused

Use rpmConfigDir() for finding our popt alias file
- this allows popt aliases to be reliably available in tests
- why do we have the popt initialization done twice?

Add function to retrieve rpm config base directory
- one-shot to determine configuration base directory path from
  RPM_CONFIGDIR environement or build-time default
- rpmfileutil is a bit strange place, this would really belong to librpm
  but Lua initialization needs the path so...

Nuke leftover reference to brp-sparc64-linux
- missed from commit cbbb03e3a34d492a7163f5a02f77b7e806702b41

Add keywords to all tests
- just initial groupings to have something there..

Add basic tests for Lua's rpm and posix extensions

Add banners for nicer test output

A few more basic macro functionality tests

Add couple of tar build tests + another version of hello tarball

Add some (trivial) macro evaluation tests

Add a couple of tests for installing non-existent files and such

Add some basic tests for config file behavior

Add some basic tests for file conflict behavior

Add basic version comparison testing for install/upgrade

Simplify the run functions, fix --define behavior

Hackery to get rpm install tests to "work" with fakechroot
- fakechroot throws it's own curveballs into the already mixed up thing,
  copy things to the test dir and set chroot base to that to avoid
  confusion with cwd and such
- klunky and ugly but at least the tests pass now when running non-root

Add + use wrapper function for calling rpm commands in tests
- avoids having to define --rcfile etc over and over again

Kill the last remaining varprefix
- we're just mangling varprefix to localstatedir anyway, might as well
  just avoid that little extra trouble...

Define TOPDIR once in atlocal.in

These tests are expected to succeed

Rpm is supposed to create build tree by itself, don't help it

Fix build tree creation with relative paths for %_topdir and friends
- rpmtsRootDir() gives "/" even if root not actually set which makes sense
  for most operations but not when we're creating build directories

Permit relative paths in rpmioMkpath() and rpmMkdirs()

Update --querytags test vrt FILECAPS

fpCacheCreate() already doubles the size-hint, dont do it twice

Use per-rpmfi string cache for symlink targets
- few files are actually symlinks so this is very sparse data
- per-rpmfi instead of global as link target names are not that likely
  to be shared across packages
- another few megs saved...

Add functions to create and free string cache(s)

Use global cache for file languages too
- there's only a very limited number of language names ever present,
  and most files don't have languages attached at all
- another few megs saved on memory

Use rpmfiFLangs() instead of direct access to structure in skipFiles()

Add rpmfiFLang() method for retrieving file language(s)
- hardly anything needs outside install internals but it's harmless too...