Minor cleanups: const pedantry and helper variable scoping

- Make the reading pointers const, push helpers to scope where needed

Allocate spec line buffer separately from spec struct

- Further preliminaries for dynamic buffer resizing

Track spec parse buffer position by offset instead of pointer

- Preliminaries for dynamically reallocating the buffer

Fix (well, loosen up) the valgrind suppression rules

- The previous rules far too specific to glibc + gcc with certain
  optimization levels, eg relying on parse_auxv() getting inlined
  and when it does not, the suppression rules would no longer match.

Stricter validation of changelog date (RhBug:843525)

- Compare the date parsed from changelog to date normalized by mktime()
  and complain if they differ. This catches cases like wrong weekday
  specified for an otherwise valid date, and a leap day on a non-leap
  year etc.

Always print out package dependencies on build

- Previously packages which had no files or for which automatic
  dependency generation was partially or fully disabled didn't get
  any of their dependencies printed out at build-time. This doesn't
  affect the actual recorded dependencies, only the "debugging"
  output during package builds.

Run gcc supported flags test with -Werror

- On gcc versions supporting -fstack-protector, not all platforms
  support this feature, causing gcc to emit only a warning instead
  of an error. Which then causes warning-spew on every compiled file.
  Run all the supported flag tests with -Werror to turn the warnings
  into errors, there could be other similar cases besides stack protector.
- Patch originally from Arnaud Patard according to this Mandriva commit:
  http://svn.mandriva.com/cgi-bin/viewvc.cgi/packages?view=revision&revision=448632

Report config and missinok flags in deptype format extension too

Default to automatic patch application in %autosetup

- Defaults should be for the common case with disablers for those who want
  to do something special, and typically if you have patches you also
  want to apply them. Change it while we still can: eliminate -A option to
  %autosetup and apply all patches unless -N option is used.

Accept "owner" as an alias to "user" %verify attribute (RhBug:838657)

- Both Maximum RPM and the newer RPM Guide incorrectly list "owner"
  as a valid %verify() attribute, whereas rpm has used "user"
  for as long as the code has been present (since 1996). Since
  adding the alias is so trivial, and certainly easier than changing
  published books... meh.

Recognize relative paths as such in --whatprovides query

Also track large file presence for src.rpm's (RhBug:833427)

Push payload file size limit checking into cpio code

- At the time when the file list is being processed, we dont yet
  have the slightest clue what kind of payload will be used for
  for the archive or what limits it might have. Let the cpio code
  handle its own limits checking, the build-side only needs to
  worry about whether 32bit uints are sufficient for storing the
  sizes in headers.

Report the actual failure reason on archive create failure (again)

Cosmetics: remove redundant {} block, fixup indentation

Dont use mmap() for anything, axe the code instead

- Commit 4cb02aa928d3e41f636d0e01356c7a3cb51018ee asked to see
  what breaks when mmap() is used, now we know: large package support
  broke when enabling it. Could be fixed of course by eg adding
  a size cap to the fsm part as well, but just doesn't seem worth it:
  I fail to measure any meaningful performance improvement from mmap
  usage in either case, and added complexity for what is close to
  zero benefit just doesn't make sense... and various sources in fact
  note the rpm usage (read through the entire file sequentially) as one
  of the cases where mmap() is NOT beneficial due to mmap() high
  setup + teardown cost + page fault speed (or lack of thereof).

Arch macro for all supported PowerPC 64 processors (RhBug:818320)

Plain 32bit ppc cannot be a ppc64p7

Signed-off-by: Panu Matilainen <pmatilai@redhat.com>

Clarify/correct tag usage in rpmdbProvides()

- Refer to RPMTAG_* for rpmds tags, not RPMDBI_*. The values for these
  are the same, only the "intended use" differs (RPMDBI refers to
  rpmdb indexes) so this doesn't change anything in practise.

Fix obsoletes-thinko in rpmdbProvides()

- dbtag cannot possibly be on obsoletes here, we need to look at deptag
  instead. This thinko in commit 5f1ec21518078e599b2499cf1ff852837ec33df7
  renders that whole commit useless. Doh.

Add support for quilt (ticket #54) and bzr to %autosetup/patch

- These are both "appears to have roughly the intended effect" level
  tested, but I'm not really familiar with either bzr or quilt so
  any further refinements need to come from people actually familiar
  with these tools.

Add a set of macros to further automate spec %prep tasks

- This adds two main macros (+ bunch of helpers) to automate the
  common case tasks in %prep:
  1) %autopatch which automatically applies all patches from a spec
  2) %autosetup which (optionally) takes care of it all, and (also
     optionally) sets up a git/hg repository of the unpacked source +
     applied patches as it  goes.
- This should be considered a starting point only, there are various
  things to improve. Eg we'd like to be able to make backups
  with plain patch (based on patch number maybe) and at least with git,
  we'd like to be able be (optionally) use 'git am' patching style
  to preserve original authors + commit messages etc.
- A noteworthy point here is that as these are fully implemented as
  macros, they are compatible with several older rpm versions as well.

Fall back to using fsync() on systems without fdatasync()

- While fdatasync() is widely available on modernish systems,
  OS X doesn't have it

Add valgrind suppression file

- valgrind is not happy about us now processing /proc/self/auxv on Linux,
  this can be used to suppress the false positives when running
  rpm under valgrind. At least until a better solution is found or
  valgrind is taught to treat /proc/self/auxv specially (see
  https://bugs.kde.org/show_bug.cgi?id=253519)

Only use local mempcpy() if system libraries dont provide one

- Obvious yes, but how come this didn't barf on my other rather
  identical system? Meh.

xmalloc() and xrealloc() never fail, remove redundant checks

Call alloca() and stat() by their own names...

Eliminate unnecessary glob portability fiddles

- Flags available to our internal glob implementation do not depend on
  posix/gnu/bsd defines

Eliminate VMS, MS-DOS, Windows and Amiga compatibility hacks in rpmglob

- We'll never run on these platforms, we just dont care...

Eliminate shell interruptability hack in rpmglob

We always have xstrdup() available, eliminate redundant alternatve

Eliminate getpwnam_r() and getlogin_r() uses from rpmglob

- We dont particularly care if rpmGlob() is thread-safe or not,
  just use the simpler code-path

Eliminate mempcpy() related conditionals from rpmglob

- Provide a local copy of the trivial mempcpy() function so we can always
  use the shorter code-path, eliminate now unnecessary ifdef goo.

Remove __GNUC__ conditionals on variable sized local arrays

- We require a C99 compiler anyway so these conditionals are not needed

Eliminate unnecessary libc header typedeffery from rpmglob

- No doubt important bits in glibc but unnecessary goo for our
  internal implementation.

Run indent -kr on the glob implementation

- rpm style isn't exactly K&R but close enuf for goverment work
  and prevent sore eyes now that this is a "real" part of rpm.

Bury our glob() implementation entirely inside rpmglob.c (RhBug:819680)

- Lump glob.h and glob.c into rpmglob.c in all their g(l)ory libc
  decorations and make everything static to stop overriding system
  library symbols with our own glob().

Export our own version of glob_pattern_p() as rpmIsGlob()

- Further preliminaries to hiding the glob() implementation

Split rpmGlob() to a separate source file

- As a preliminary step to hiding our internal glob implementation,
  split our only glob() user to a source of its own.

Add a test-case for various %files manifest globbing scenarios

- In particular (aside from basics working) we're interested in
  the broken symlink behavior: at least glibc and Solaris have
  a weird glob() which doesn't return broken symlinks at all,
  yet we need to be able to package them (and that's why rpm
  carries its own copy of a differently broken, old glibc glob)
- Also test for directory-only match (RhBug:505995 cases)

Parametrize default vs current %verify and %attr parsing

- Only try to parse one thing at a time so the caller knows what
  value its going to get if any and doesn't have to pass both
  current and default pointers. Just simplifies things a little.

Initial support for "special" %license, similar to %doc (ticket #116)

- Now that this is relatively sanely doable... make %license with
  non-absolute paths behave similarly to %doc, only installing to a
  different directory (%_licensedir) and with different flags:
  licenses are not generic documentation and should not be skipped
  on installation even if --nodocs is used. The common practise of
  stuffing licenses into %doc actually violates various licenses
  which require the license text to always accompany the software.
- While ticket #116 suggests various schemes to reduce disk usage,
  adding some very special logic to installation code just to deal
  with these doesn't seem justifiable, given how small the licenses
  generally are. However with licenses now in their own directory
  structure (/usr/share/licenses by default), running hardlink on
  them is trivial for cases where disk space is tight
  (live images, embedded systems etc)

Generalize special doc attribute to "special dir"

Handle rpmfiNew() failure centrally in genCpioListAndHeader()

Fix spec parsing memleak from source header on buildarch recursion

Eliminate redundant helper variables from src.rpm generation

- Spec being the first is easily detected from the current index,
  no need for separate tracking variable
- Use the file records used variable to track the progress, no need
  for separate index variable

Move file list freeing to helper function

Hardlink detection doesn't need entire filelist, just the actual records

isDoc() only needs the doc dirs, not the entire filelist

Clean up file records freeing a bit

- All the necessary data is in FileRecords struct so we only
  need to pass that. Dont bother NULLing everything as these
  are not passed around in a way where it would matter.

Split the actual file records into a struct of their own

- No functional changes, just straightforward dumb conversion. Various
  places look fairly dumb with this, leaving sanitizing to other commits.

Use vfaMatch() for %config attributes as well

Unify %verify and virtual file attribute handling

Eliminate unused negate field of VFA struct

- The negate field has never been used nor does it seem very useful
  either: %verify negation can't be handled by it anyway, and
  for others it hardly makes sense.
- While at it, make virtualFileAttributes const and fix the
  indentation

Push special %doc handling details out of processPackageFiles()

- Add a new struct to hold the necessary bits and pieces about
  these special directories with functions to create & free for
  easy management for callers, move the remaining processing into
  processSpecialDocs() to make that part one-stop shop for the
  caller as well.
- Should not change functionality in any way.

Refactor getSpecialDocDir() so it cannot fail

- Spit a warning on illegal _docdir_fmt and fall back to the default
  format (which cannot fail). This just isn't worth dying for and
  avoids having to deal with such a petty error elsewhere.

Add support for 7zip compressed tarballs

Teach %prep and %uncompress how to handle 7zip tarballs, with
the mingw toolchain landing in fedora, this may be useful when
crossbuilding Windows sources compressed using 7zip (CxImage is
one such project).

Split prelink checking into a helper function

- No functional changes, just makes the thing a little bit more readable
  as the ELF details are buried out of sight in the helper

Restore basic debug output for fsm operations

- This is close to what we had in the stage-machine days, just to allow
  easily viewing whats going on inside the fsm (create/skip/etc)

Push special doc directory generation next to other special doc foobar

- There's no need to carry the special doc directory in the
  package struct, the directory is only a fleeting thing deep down
  in the filelist parsing. Handle local-only needs locally.
- No behavior/semantic changes intended or expected.

Refactor special doc handling out of parseForSimple()

- Change parseForSimple() to return all filenames it finds, moving
  most sanity checking and decision making of what goes where to
  processPackageFiles() which has a better overall view of things.
  This also means we could trivially handle more than one file per
  %files line, but keeping the (now artificial) limitation for now
  at least.
- Collect special %doc arguments individually to a local ARGV,
  split the script generation and execution to a separate helper
  function.
- Actual semantics / behavior is not supposed to change (other than
  'cp' now getting called once per %doc arg, not per %doc line), but
  knock wood, this is a larger at-once change than I care for.

parseForSimple() doesn't need the entire file list anymore

Negation doesn't make sense for any of the virtual file attributes

- The negate field is unused in all the attributes anyway, but
  the whole concept doesn't make any sense for the virtual file
  attributes. Simplifies the thing another little bit.

Handle %dir parsing with an internal file attribute

- Cleans things up a little bit by removing the special test
  for %dir in parseForSimple(). The separate isDir is still necessary
  for directory recursion tracking but that's separate from parsing
  the line.

Handle %docdir with an internal file attribute

- Simplifies and cleans up things a bit as parseForSimple() now only
  parses this and processPackageFiles() acts on the result, and
  doesn't need specific argument checking now (only %doc is allowed
  to have more than one file per line)

Explicitly differentate internal/exported file attributes

- RPMFILE_EXCLUDE only exists during spec parse, and doesn't "leak"
  into headers only because the file is, well, excluded to start with.
  Unexport the internal-only bit and explicitly strip out any excess
  bits from data going to header. The current 16/16 split is artificial
  of course, RPMTAG_FILEATTRS is 32bit so there's plenty of room
  for growing new file attributes, with internal-only adjustments
  required.
- Eliminate RPMFILE_UNPATCHED while at it, this is a leftover
  from Suse patch rpms which are no longer used anywhere.

Unmask %license directive when parsing %files section

- This always was a rare creature, driven to extinction long time
  ago when Copyright: changed to License: which masks the %license
  directive of %files list with a macro holding the the textual
  description from License tag, causing errors.
- Override %license during %files parsing to bring back its original
  meaning, useless as it might be in its current form.

Eliminate unused argument to parseForSimple()

Only pass what's needed to parseForCaps()

- It doesn't need the entire filelist, just the current file
  pointer (or actually just the caps string but for consistency...)
  That we need to track for capability presence overall is a different
  thing, that doesn't need to be in parseForCaps() at all.

Only pass what's needed to parseForLang()

- It doesn't need the entire filelist, just current file entry (actually
  just the lang pointer but for consistency with others...)
- We could (and perhaps should) now quite easily support %deflang as well,
  but leaving that to another time...

Only pass what's needed to parseForConfig()

- It doesn't need the entire filelist, just current file entry.

Only pass what's needed to parseForDev()

- It dosn't need the entire filelist, just the buffer and current
  file entry

Only pass what's needed to parseForAttr()

- It doesn't need the entire filelist, just the buffer and current
  or defaul file entry pointer

Only pass what's needed to parseForVerify()

- It doesn't need the entire filelist, just the buffer and current
  or default file entry pointer
- Additionally initialize the local variables on declaration, cleaning
  things up that little bit

Centralize fl.processingFailed setting for parseForFoo() calls

- All the parseForFoo() functions return an error code already,
  on top of this they also set fl.processingFailed, which forces
  passing the whole damn filelist to them when they'd only really
  need the current buffer and (parts of) fl.cur / fl.def.
- Preserve former behavior of continuing parsing despite errors,
  dunno whether it makes much sense though.

Add a helper function for freeing/resetting a file entry, use it

- Now with all the per file-entry data in a struct of its own this
  becomes sane and should plug up a couple of leaks as well.

Eliminate redundant filelist initializiation

- The file list gets zeroed out with memset(), eliminating all this
  noise lets the actually necessary initialization tasks more obvious.

Split out the remaining "current file" state out of global filelist

- We're unlikely to ever want default counterparts for directories
  and devices, but moving these out of the global state tracking
  will allow for saner handling of this constantly changing
  state nevertheless.

Split file languages and capabilities out of the global filelist

- These are only releavant for "current" entry but it wouldn't seem
  unreasonable (if not terribly useful mayhap) to be able to have defaults
  for these as well. No functional changes yet though.

Split the file attribute recs (permissions) out of the global filelist

- Same as previous commit: moving these to a common struct will
  allow various benefits like more shared code. For now just
  moving things, no other changes.

Split the various file flags out of the global filelist struct

- Active defaults and current values share several properties, moving
  them to a common struct will allow more code to be shared when
  manipulating them. For now just splitting things piece by piece
  though, no functional changes.

Shuffle FileList members around for a more logical grouping

Improve spec %include error detection and message

- Besides excess arguments, catch missing argument too
- Log filename and line number like with other error messages

Unify pops from spec file stack to a function

- Previously done in two different places, calls for a function eh?

Simplify / sanitize pushing new files on spec file stack

- Replace the rather useless newOpenFileInfo() "constructor" with
  a function to push a new filename on spec stack, creating the
  OFI struct as we go. forceIncludeFile() becomes so simple its
  no longer necessary at all.

Keep the macro buffer terminated on append

- This isn't strictly needed as we're terminating the buffers "just in
  case" all over the place but handling this centrally might allow
  some day eliminating the other fluff...

Fix off-by-ones in mbAppend() and mbAppendStr()

- Oops, remember to reserve space for the trailing \0 when appending.
  mb->nb holds the number of actual characters left in the buffer,
  not the terminator. Fixes a regression introduced in rpm 4.9.x
  dynamic macro realloction work (RhBug:431009 reprise)

Simplify mono file magic regex

- Begin/end restrictions with wildcards on both ends dont make much
  sense, just match on the plain (sub)string

Relax python file magic regex somewhat

- libmagic sometimes adds trailing descriptions about encodings, line
  terminators and whatnot, we dont want to care about those (RhBug:796218)
- not all python-related strings start with [pP]ython either, sometimes
  libmagic says "a python script" or "a /usr/bin/python script" and
  whatnot, so loose the start-of-line restriction as well

Tweak font magic regex a bit (yet again)

- Lose the pointless begin/end restrictions, take the optional
  space into account for both optional parts (one of the later issues
  in RhBug:757105)

Small patch to reverse hardlink ordering

Hi Panu et al,

Here's a small patch that changes the ordering used for putting
hardlinked files into the cpio archive back to lexicographical.

You might wonder what this is about. Well, old rpm-3 (and
also old versions of rpm-4, I think) already used lexicographical
ordering for files and hardlinks. When deltarpm was created,
it made use of this fact when "compressing" the file order
of the cpio archive into the so-called "sequence". Deltarpm
can deal with "out of order" files, but in that case it needs
to reset the compression, which leads to really long sequence
strings.

Signed-off-by: Panu Matilainen <pmatilai@redhat.com>

Fall back to private db environment on system level EINVAL

- BDB wants to use mmap() for its environment by default, but not
  all (file)systems support this, as pointed out by Daniel Drak.
  However env->open() can return EINVAL for a number of reasons,
  require all the fallback reasons to be system level errors to
  differentiate from "logical" errors such as incompatible flags
  to (possibly pre-existing) db environment, in which case we better
  just error out.

Eliminate unused selinux file context path macros

- These haven't been used by anything since rpm 4.8.x days,
  nowadays we just use selinux_file_context_path() instead

Eliminate rpmts usage from lower levels of fsm machinery

- The only remaining use for rpmts here was grabbing NODIGESTS
  from rpmtsFlags(). Pass the tiny little piece of information
  as an argument for the one place needing it and rip all the
  now unused related goo.

Only install needs selabel handle, dont bother elsewhere

Dont bother with fsm-level digest statistics

- Most of fsm doesnt need the actual transaction set for anything "real"
  and dragging it around as a mere statistics collector seems
  pretty dumb. If we want better statistics, we better come up with
  a saner way to gather them.

Eliminate rpmts and rpmte kludgery from package building

- Package building has no associated transaction or ts members,
  this was all just fake-up kludgery to work around the way how
  fsm used to work. None of it relevant now, kill kill kill.

Eliminate rpmte usage from lower levels of fsm machinery

- Determine the need for reverse iteration based on fsm goal
- Everything else was just using rpmte to get to its file states,
  eliminate the intermediate ping-pong by passign the file states
  around directly. Makes the thing that little bit less silly.

Move mode-specific flag setting out of fsmNew()

Clean up file backup logic a bit

- Ghosts are never backed up, and the whole business is irrelevant
  for package building. Use fsm goal instead of rpmte mode to
  determine what to do, rpmte in build code is nothing but an ugly hack.