Split the actual file records into a struct of their own

- No functional changes, just straightforward dumb conversion. Various
  places look fairly dumb with this, leaving sanitizing to other commits.

Use vfaMatch() for %config attributes as well

Unify %verify and virtual file attribute handling

Eliminate unused negate field of VFA struct

- The negate field has never been used nor does it seem very useful
  either: %verify negation can't be handled by it anyway, and
  for others it hardly makes sense.
- While at it, make virtualFileAttributes const and fix the
  indentation

Push special %doc handling details out of processPackageFiles()

- Add a new struct to hold the necessary bits and pieces about
  these special directories with functions to create & free for
  easy management for callers, move the remaining processing into
  processSpecialDocs() to make that part one-stop shop for the
  caller as well.
- Should not change functionality in any way.

Refactor getSpecialDocDir() so it cannot fail

- Spit a warning on illegal _docdir_fmt and fall back to the default
  format (which cannot fail). This just isn't worth dying for and
  avoids having to deal with such a petty error elsewhere.

Add support for 7zip compressed tarballs

Teach %prep and %uncompress how to handle 7zip tarballs, with
the mingw toolchain landing in fedora, this may be useful when
crossbuilding Windows sources compressed using 7zip (CxImage is
one such project).

Split prelink checking into a helper function

- No functional changes, just makes the thing a little bit more readable
  as the ELF details are buried out of sight in the helper

Restore basic debug output for fsm operations

- This is close to what we had in the stage-machine days, just to allow
  easily viewing whats going on inside the fsm (create/skip/etc)

Push special doc directory generation next to other special doc foobar

- There's no need to carry the special doc directory in the
  package struct, the directory is only a fleeting thing deep down
  in the filelist parsing. Handle local-only needs locally.
- No behavior/semantic changes intended or expected.

Refactor special doc handling out of parseForSimple()

- Change parseForSimple() to return all filenames it finds, moving
  most sanity checking and decision making of what goes where to
  processPackageFiles() which has a better overall view of things.
  This also means we could trivially handle more than one file per
  %files line, but keeping the (now artificial) limitation for now
  at least.
- Collect special %doc arguments individually to a local ARGV,
  split the script generation and execution to a separate helper
  function.
- Actual semantics / behavior is not supposed to change (other than
  'cp' now getting called once per %doc arg, not per %doc line), but
  knock wood, this is a larger at-once change than I care for.

parseForSimple() doesn't need the entire file list anymore

Negation doesn't make sense for any of the virtual file attributes

- The negate field is unused in all the attributes anyway, but
  the whole concept doesn't make any sense for the virtual file
  attributes. Simplifies the thing another little bit.

Handle %dir parsing with an internal file attribute

- Cleans things up a little bit by removing the special test
  for %dir in parseForSimple(). The separate isDir is still necessary
  for directory recursion tracking but that's separate from parsing
  the line.

Handle %docdir with an internal file attribute

- Simplifies and cleans up things a bit as parseForSimple() now only
  parses this and processPackageFiles() acts on the result, and
  doesn't need specific argument checking now (only %doc is allowed
  to have more than one file per line)

Explicitly differentate internal/exported file attributes

- RPMFILE_EXCLUDE only exists during spec parse, and doesn't "leak"
  into headers only because the file is, well, excluded to start with.
  Unexport the internal-only bit and explicitly strip out any excess
  bits from data going to header. The current 16/16 split is artificial
  of course, RPMTAG_FILEATTRS is 32bit so there's plenty of room
  for growing new file attributes, with internal-only adjustments
  required.
- Eliminate RPMFILE_UNPATCHED while at it, this is a leftover
  from Suse patch rpms which are no longer used anywhere.

Unmask %license directive when parsing %files section

- This always was a rare creature, driven to extinction long time
  ago when Copyright: changed to License: which masks the %license
  directive of %files list with a macro holding the the textual
  description from License tag, causing errors.
- Override %license during %files parsing to bring back its original
  meaning, useless as it might be in its current form.

Eliminate unused argument to parseForSimple()

Only pass what's needed to parseForCaps()

- It doesn't need the entire filelist, just the current file
  pointer (or actually just the caps string but for consistency...)
  That we need to track for capability presence overall is a different
  thing, that doesn't need to be in parseForCaps() at all.

Only pass what's needed to parseForLang()

- It doesn't need the entire filelist, just current file entry (actually
  just the lang pointer but for consistency with others...)
- We could (and perhaps should) now quite easily support %deflang as well,
  but leaving that to another time...

Only pass what's needed to parseForConfig()

- It doesn't need the entire filelist, just current file entry.

Only pass what's needed to parseForDev()

- It dosn't need the entire filelist, just the buffer and current
  file entry

Only pass what's needed to parseForAttr()

- It doesn't need the entire filelist, just the buffer and current
  or defaul file entry pointer

Only pass what's needed to parseForVerify()

- It doesn't need the entire filelist, just the buffer and current
  or default file entry pointer
- Additionally initialize the local variables on declaration, cleaning
  things up that little bit

Centralize fl.processingFailed setting for parseForFoo() calls

- All the parseForFoo() functions return an error code already,
  on top of this they also set fl.processingFailed, which forces
  passing the whole damn filelist to them when they'd only really
  need the current buffer and (parts of) fl.cur / fl.def.
- Preserve former behavior of continuing parsing despite errors,
  dunno whether it makes much sense though.

Add a helper function for freeing/resetting a file entry, use it

- Now with all the per file-entry data in a struct of its own this
  becomes sane and should plug up a couple of leaks as well.

Eliminate redundant filelist initializiation

- The file list gets zeroed out with memset(), eliminating all this
  noise lets the actually necessary initialization tasks more obvious.

Split out the remaining "current file" state out of global filelist

- We're unlikely to ever want default counterparts for directories
  and devices, but moving these out of the global state tracking
  will allow for saner handling of this constantly changing
  state nevertheless.

Split file languages and capabilities out of the global filelist

- These are only releavant for "current" entry but it wouldn't seem
  unreasonable (if not terribly useful mayhap) to be able to have defaults
  for these as well. No functional changes yet though.

Split the file attribute recs (permissions) out of the global filelist

- Same as previous commit: moving these to a common struct will
  allow various benefits like more shared code. For now just
  moving things, no other changes.

Split the various file flags out of the global filelist struct

- Active defaults and current values share several properties, moving
  them to a common struct will allow more code to be shared when
  manipulating them. For now just splitting things piece by piece
  though, no functional changes.

Shuffle FileList members around for a more logical grouping

Improve spec %include error detection and message

- Besides excess arguments, catch missing argument too
- Log filename and line number like with other error messages

Unify pops from spec file stack to a function

- Previously done in two different places, calls for a function eh?

Simplify / sanitize pushing new files on spec file stack

- Replace the rather useless newOpenFileInfo() "constructor" with
  a function to push a new filename on spec stack, creating the
  OFI struct as we go. forceIncludeFile() becomes so simple its
  no longer necessary at all.

Keep the macro buffer terminated on append

- This isn't strictly needed as we're terminating the buffers "just in
  case" all over the place but handling this centrally might allow
  some day eliminating the other fluff...

Fix off-by-ones in mbAppend() and mbAppendStr()

- Oops, remember to reserve space for the trailing \0 when appending.
  mb->nb holds the number of actual characters left in the buffer,
  not the terminator. Fixes a regression introduced in rpm 4.9.x
  dynamic macro realloction work (RhBug:431009 reprise)

Simplify mono file magic regex

- Begin/end restrictions with wildcards on both ends dont make much
  sense, just match on the plain (sub)string

Relax python file magic regex somewhat

- libmagic sometimes adds trailing descriptions about encodings, line
  terminators and whatnot, we dont want to care about those (RhBug:796218)
- not all python-related strings start with [pP]ython either, sometimes
  libmagic says "a python script" or "a /usr/bin/python script" and
  whatnot, so loose the start-of-line restriction as well

Tweak font magic regex a bit (yet again)

- Lose the pointless begin/end restrictions, take the optional
  space into account for both optional parts (one of the later issues
  in RhBug:757105)

Small patch to reverse hardlink ordering

Hi Panu et al,

Here's a small patch that changes the ordering used for putting
hardlinked files into the cpio archive back to lexicographical.

You might wonder what this is about. Well, old rpm-3 (and
also old versions of rpm-4, I think) already used lexicographical
ordering for files and hardlinks. When deltarpm was created,
it made use of this fact when "compressing" the file order
of the cpio archive into the so-called "sequence". Deltarpm
can deal with "out of order" files, but in that case it needs
to reset the compression, which leads to really long sequence
strings.

Signed-off-by: Panu Matilainen <pmatilai@redhat.com>

Fall back to private db environment on system level EINVAL

- BDB wants to use mmap() for its environment by default, but not
  all (file)systems support this, as pointed out by Daniel Drak.
  However env->open() can return EINVAL for a number of reasons,
  require all the fallback reasons to be system level errors to
  differentiate from "logical" errors such as incompatible flags
  to (possibly pre-existing) db environment, in which case we better
  just error out.

Eliminate unused selinux file context path macros

- These haven't been used by anything since rpm 4.8.x days,
  nowadays we just use selinux_file_context_path() instead

Eliminate rpmts usage from lower levels of fsm machinery

- The only remaining use for rpmts here was grabbing NODIGESTS
  from rpmtsFlags(). Pass the tiny little piece of information
  as an argument for the one place needing it and rip all the
  now unused related goo.

Only install needs selabel handle, dont bother elsewhere

Dont bother with fsm-level digest statistics

- Most of fsm doesnt need the actual transaction set for anything "real"
  and dragging it around as a mere statistics collector seems
  pretty dumb. If we want better statistics, we better come up with
  a saner way to gather them.

Eliminate rpmts and rpmte kludgery from package building

- Package building has no associated transaction or ts members,
  this was all just fake-up kludgery to work around the way how
  fsm used to work. None of it relevant now, kill kill kill.

Eliminate rpmte usage from lower levels of fsm machinery

- Determine the need for reverse iteration based on fsm goal
- Everything else was just using rpmte to get to its file states,
  eliminate the intermediate ping-pong by passign the file states
  around directly. Makes the thing that little bit less silly.

Move mode-specific flag setting out of fsmNew()

Clean up file backup logic a bit

- Ghosts are never backed up, and the whole business is irrelevant
  for package building. Use fsm goal instead of rpmte mode to
  determine what to do, rpmte in build code is nothing but an ugly hack.

Eliminate header and rpmte knowledge from rpmfs

- rpmfs is such a low-level construct it doesn't need to know anything
  about the upper layers. Gather the necessary bits of info in the
  sole caller instead and pass only whats needed to rpmfsNew() to
  enable creating a filestate item without having rpmte/header at hand,
  which we'll be needing in the fsm shortly.

Bury build filestate setting inside fsm remains

- This whole thing probably isn't needed anymore, but for now just
  lift the FA_SKIP/FA_COPYOUT setting to rpmPackageFilesArchive(),
  allowing rpmfsSetAction() to become properly internal-only function.
- Trim out unnecessary now unnecessary librpm internal includes
  from librpmbuild code

Split out file state recording out of fsmMapPath()

- The file state that gets stored in the rpmdb has nothing to do with
  path and is only relevant for installs.

Fix quoting in brp-python-hardlink (patch from Jon Nelson)

Add a few basic test-cases for tilde in version comparison

Add support for dpkg-style sorting of tilde in version/release

- This allows much nicer handling some common scenarios such as
  upstream pre-releases where the pre-release version would normally
  appear newer than final release, eg 1.0-rc1 vs 1.0. Previously this
  required mapping the pre-release tag into the release tag to achieve
  desired sorting, with tild this becomes simply 1.0~rc1 < 1.0.
- Add a rpmlib() tracking dependency to prevent older rpm versions
  from getting confused with packages relying on the new behavior.

Signed-off-by: Panu Matilainen <pmatilai@redhat.com>

Add further version comparison test-cases

- Add pile of further tests for the more common constructs,
  collect various (old and new) corner cases from bugzilla.

rpmdsMatchesDep() isn't correct on obsoletes

- Fix oversight in commit 9fb81eac0bcd239e46459f72916099f1adfc5cb9:
  rpmdsMatchesDep() works on provides, but obsoletes are matched on
  package name so we want rpmdsNVRMatchesDep(). rpmdsMatchesDep()
  "worked" as the implicit self-provide is always at the 0 index
  on packages created by modern rpmbuild, but this isn't really
  guaranteed: very old V3 rpms can have something else at the
  first index, and ditto for non-rpmbuild created packages.
- Thanks to Michael Schroeder for pointing this out.

Pay attention to NULL returns from rpmcpioOpen()

- The archive interface might actually want separate new + open,
  but for now just flag an internal error on NULL return on archive open.

Sanitize fsm creation/initialization and destruction

- Now that there are no more failing parts requiring return codes,
  change + rename fsmSetup() into a more regular fsmNew() construct,
  returning newly "instance" of fsm and similarly fsmTeardown() ->
  fsmFree() to free the thing.
- There's no real need to allocate this stuff on heap, but doing
  so makes life actually simpler for the three callers and makes the
  whole thing more consistent with common practises in the codebase.

Split out hardlink checking from fsmTeardown()

- Checking missing links is only relevant for install, lift the
  code to separate function and call from the install-case only.
- Freeing data while checking seems like a dubious "optimization"
  but to keep changes minimal, leaving that as it is now.

Eliminate unused leftover rc member from fsm struct

Move cpio end trailer detection to the cpio code

- The fsm shouldn't know any archive format specifics, detect the trailer
  from rpmcpioHeaderRead() and signal EOF through CPIOERR_HDR_TRAILER
  instead.

Separate payload archive close and free

- When writing, archive finalization can write further data into
  the payload (eg cpio trailer). We need to be able to fish the
  final archive size *after* closing it, otherwise archive size
  will be off by trailer size.
- Add new rpmcpioFree() function which simpy frees the archive struct,
  calling rpmcpioClose() in the process if it wasn't already done.
- This also simplifies the error code gymnastics in fsm: we need to
  free the resources whether error or not, which rpmcpioFree() allows
  us to do. And for writers, calling rpmcpioClose() only needs to
  be done if earlier parts were successfull, so we dont need to worry
  about masking a former error code when calling it.

Always return NULL from fdFree()

- Up to now, if the fd had remaining references fdFree() would return
  the supposedly free'd fd back to us, which is unlike anything else
  in rpm. Make this consistent with the rest of rpm finally as the
  last remaining caller requiring the old semantics is gone from
  the codebase (somewhere between 4.9 and 4.10): always return NULL,
  as the referenced instance is now gone as far as the caller is concerned.

Eliminate payload archive member from fsm struct

- Only install and build have an associated archive, and this can
  be just as well handled as a local variable, passing down as
  argument to the handful of places needing it.
- Error handling looks a bit fishy but that's not exactly new issue...

Push fsm archive size down to the only caller who cares

- Archive size is only relevant for build code, no need for tracking
  this in the big struct. Just return the archiveSize at end of
  build process.

Lose unnecessary cfd member from fsm, refcount through payload instead

Kill couple of useless "helper" functions

- Both are only ever called once and are so trivial that they're
  not helping anything at all

Remove now unused psm argument to fsmSetup()

- Bah, should've been in commit 4ef540d25bab77b46cbf4467c8f6bc22cdd0e419

Move mapping index + and related loop exits out of fsmInit()

- The mapping index is the same for build + erase, but different
  for install and so is the return code mapping. By doing this
  inline where the action is we avoid having to fiddle with
  mapped return codes for the exit case.

Move the install-only payload reading to the install-only code

- Besides simplifying the common path everything takes, this removes
  the need to map error returns back and forth when we can just
  detect the end of payload directly in the loop and break out.

Split fsm state reset to a separate function

- No functional changes as such, but moving this out of fsmInit()
  permits other goal-specific items to be moved out of fsmInit()

Zeroing out the fsm is common to all modes, move it to fsmSetup()

Push dnl iterator init + free to the sole caller fsmMkdirs()

- There's zero need for the rest of the code to know or care about
  dnl iterator, just pass the file info- and state sets to
  fsmMkdirs() directly and hide the otherwise unused iterator
  business there.

Inline what little is left of fsmCreate() into fsmSetup()

- Besides being a bizarre name for "some extra initialization" work,
  fsmCreate() was full of redundant goo, including a rather complex
  way of mapping a zero return back to zero in case it really was
  zero .. or something.

Move temporary install suffix creation to more logical place

- Only installation needs, so move it to rpmPackageFilesInstall()

Move unowned directory creation to more logical place

- rpmPackageFilesInstall() is the only case where this needs to occur,
  move it there instead of yet-another goal-dependent piece where it has
  no business being in the strangely named fsmCreate()...

Eliminate the pointless fsm NULL checking in fsmFsPath()

- There's just no damn way fsm can be NULL when this is called,
  a NULL fsm would've segfaulted miles earlier.

Eliminate unused subdir argument from fsmFsPath()

fsmFsPath() only needs directory/something else not entire struct stat

- The less places we pass all the junk around, the easier its to
  follow, and in most places we already know whether its dir or not anyway.

Remove now unnecessary psm member from fsm struct

- Except for expandRegular(), all notification occurs from the three
  main worker functions. Pass as an argument for the lone special
  case, the other noticy already have the psm as their own argument.

Remove redundant progress notification from fsmCommit()

- fsmCommit() does not advance the archive or anything else, so
  this was simply issuing the same exact notification that we
  just did from rpmPackageFilesInstall().

Clean up + improve file/directory removal error handling

- Only handle %missingok in the cases where it actually applies,
  and additionally handle missing %ghost which is not an error
  either. Dont log anything for these non-errors.
- Unify the error handling for files and directories, makes life
  simpler as they dont differ by that much.
- Log real failures as warnings instead of silencing them to debug
  spew, users will want to know if something that was supposed to
  be removed was not (say, a file with immutable attr set).
- Add comments for further work on this area.

Minimally fix file/directory removal

- In their previous life these breaks applied to a switch-case but
  now they end up aborting the loop on first successful removal, causing
  everything but the first file/directory of a package to be left behind
  on erase. Fixes the previously unnoticed regression from commit
  1845c1d711b88723e596c88e8a7730a360029089.

- Add support for ppc64p7 architecture using new auxv parsing info

Signed-off-by: Panu Matilainen <pmatilai@redhat.com>

- Add general /proc/self/auxv parsing to rpmrc for better machine detection

Signed-off-by: Panu Matilainen <pmatilai@redhat.com>

Use a bit more complicated test for the install/remove file verification

- Previous test only used a single file and no package-specific
  directories, now we have multiple files and multiple directories,
  some owned by the package and some not.
- This test fails right now due to previously unnoticed regression
  in commit 1845c1d711b88723e596c88e8a7730a360029089

Axe unused leftover variable

- Should've been in commit cf1095648194104a81a58abead05974a5bfa3b9a

Document --obsoletes in manual (RhBug:809402)

Add test-cases for identical basenames within package

- One test for the normal situation where identical basenames are
  not a problem, and another one where this causes a self-conflict
  because of a directory symlink.

Raise file conflicts on differing device node numbers

- For practical purposes, the "content" of a device node is its
  minor+major number, if those differ the files are very much
  not the same and thus cannot be shared.

Raise file conflicts on differing permissions (user, group, mode)

- Two files (or directories) cannot be correctly shared if their
  permissions differ, even if the content is identical: either
  file will end up having wrong permissions, depending on installation
  order. This means a package can among other things silently
  eg relax permissions of eg security sensitive directory (accidentally
  or intentionallY).
- We now require exact match of user, group and entire file mode
  (previously only the file type part of mode was tested)

Check for file conflicts within package (RhBug:808750)

- Packages having file conflicts with itself may seem absurd, but
  directory symlinks (such as /lib being a symlink to /usr/lib)
  make this entirely possible. This makes us catch and abort early
  on these cases instead of silently overwriting the self-conflicting
  files, potentially with disastrous results.

Check for file conflicts within package (RhBug:808750)

- Packages having file conflicts with itself may seem absurd, but
  directory symlinks (such as /lib being a symlink to /usr/lib)
  make this entirely possible. This makes us catch and abort early
  on these cases instead of silently overwriting the self-conflicting
  files, potentially with disastrous results.

Change file disposition code to access rpmfi's by index

- The final pre-requisite to handling file conflicts within a package:
  with this we're no longer tied to the single index per rpmfi. This
  is not supposed to change anything yet unless I screwed something up.
  Also goes to show that a semi-iterator interface for something
  that really needs random access only gets in the way rather than
  helping...

Change rpmfi replaced size functions to take index

- Further preliminaries to handle file conflicts within a package.
- These are internal-only interfaces so we can just change without
  bothering with compat wrappers.

Add rpmfiFooIndex() variants for the conflict handling methods

- Preliminaries for handling file conflicts within a package:
  Using rpmfi's self-iterator limits access to the file info to
  one caller at a time, in order to self-file conflicts we'll need
  to be able to access the same rpmfi at different indexes simultaneously.
- As these are public API's, add compat wrappers for the self-iterator
  use (although AFAIK nothing except rpm itself uses these)

Further tweak the config file removal/backup logic to make it clearer

- Turn the strange negated condition around: when dealing with
  config files test for it directly. This way, all the special
  cases are handled first and normal cases fall through the if-jungle
  to exactly one case of rpmfsSetAction(fs, i, FA_ERASE). Makes
  the logic more obvious, at least to me.

Avoid unnecessary calls to rpmfiFN()

- handleOverlappedFiles() only needs the file name in a couple
  of relatively rare special cases. Constructing the fn more
  expensive than other rpmfi-calls, dont bother unless actually needed.