Add rpmfiFooIndex() variants for the conflict handling methods

- Preliminaries for handling file conflicts within a package:
  Using rpmfi's self-iterator limits access to the file info to
  one caller at a time, in order to self-file conflicts we'll need
  to be able to access the same rpmfi at different indexes simultaneously.
- As these are public API's, add compat wrappers for the self-iterator
  use (although AFAIK nothing except rpm itself uses these)

Further tweak the config file removal/backup logic to make it clearer

- Turn the strange negated condition around: when dealing with
  config files test for it directly. This way, all the special
  cases are handled first and normal cases fall through the if-jungle
  to exactly one case of rpmfsSetAction(fs, i, FA_ERASE). Makes
  the logic more obvious, at least to me.

Avoid unnecessary calls to rpmfiFN()

- handleOverlappedFiles() only needs the file name in a couple
  of relatively rare special cases. Constructing the fn more
  expensive than other rpmfi-calls, dont bother unless actually needed.

Make config file modification detection a bit more readable

Make rpmfiFNIndex() safe for callers on different indexes

- Previously this would return a pointer to an internal per-rpmfi buffer
  whose contents get silently overwritten on each call to rpmfiFNIndex(),
  making it unsafe for unsafe for random access for more than one
  active caller (such code does not currently exist in rpm though)
- Make rpmfiFNIndex() always return freshly allocated memory, and adjust
  the rpmfiFN() iteration wrapper to free and realloc the internal
  "buffer" on each call. It's a wee bit slower than before but it's
  not called *that* much, and if needed there are ways to optimize it.

Oops, automake isn't happy with comment here...

Arrange unified /bin <-> $(bindir) in test-suite root

- Rpm traditionally insists on putting itself into /bin and expects
  to find various things, especially /bin/sh there as well. This
  is normally the case, but on systems where the host /bin is symlink
  to eg /usr/bin, the test-suite /bin will be empty except for rpm
  itself causing a big number of bogus test-suite failures. Making
  test-suite root bin/ always a symlink to $(bindir) avoids this issue
  and works whether the host /bin is a real directory or not.

Fix test-suite root population wrt "optional" directories

- /proc, /sys and especially selinux directories are mostly Linux
  creatures and even those vary between versions. Use if to avoid
  the error code "leaking" in case the last directory is not present.

Handle obsolete matches (more) correctly in rpmal

- Similar to commit 9fb81eac0bcd239e46459f72916099f1adfc5cb9 but
  on the to-be-installed set: obsoletes should only be matched against
  package names, not any provide or file names. Hasn't really mattered
  previously due to the way its called, but since commit
  05487d9a3f763cfed5f5ca75b4fbadb62f38dfd6 I guess it started to matter.
  It's more correct this way anyhow, and should fix RhBug:810077.
- Since rpmal only knows about provides, we need to handle obsoletes
  as a special case and filter out matches on provide names different
  than the matching package name.

Remove unused scareFlags member from rpmfi struct

- This is just a leftover from rpm < 4.7.x days

Validate negated offsets too in headerVerifyInfo()

- Undo the ancient broken fix for RhBug:71996 from commit
  9e06e3b8ca76ae55eaf2c4e37ba9cac729789014: instead of disabling
  the check, pass in the correct upper range which is entirely
  different from everything else for the region trailer tag.
- Fixes CVE-2012-0815

Differentiate between non-existent and invalid region tag

- Non-existent region tag is very different from existing but invalid
  one - the former is not an error but the latter one is, and needs
  to be handled as such. Previously an invalid region tag would cause
  us to treat it like rpm v3 package on entry, skipping all the region
  sanity checks and then crashing and burning later on when the immutable
  tag is fetched.
- Refer to REGION_TAG_TYPE instead of RPM_BIN_TYPE wrt the expected
  type of region tag for consistency and clarity, they are the same
  exact thing though.
- Should unify these damn copy-slop check one of these days, sigh...
  For now, settling for the easily backportable approach.
- Fixes the other half of CVE-2012-0060

Specifically validate region tag on header import

- Region tags need to have very specific content, the generic
  header tag checks are not sufficient to ensure sanity. Verify
  the tag is one of the known region tags and that the entry has
  expected type and count.
- Fixes the first half of CVE-2012-0060

Fix gpg-pubkey typos in Japanese manual (RhBug:760552)

Move internal stuff from fsm.h to fsm.c
Reduce fileStage to the three "goal" stages

Replace fileStageString() with the __func__ macros in the debugging code
Remove fileStageString()

Remove checks for FSM_SYSCALL as FSM_* is going to go away

Drop no longer needed include of fsm.h

Kill FSM: Remove remains

Kill FSM: Make FSM_PKGBUILD a function

Kill FSM: Make FSM_PKGERASE a function

Kill FSM: Make FSM_PKGINSTALL a function

Prepare for killing the fsm: Move initial call to FSM from fsmSetup to rpmfsmRun. Make fsm FSM_t.

Prepare for killing the fsm: Inline FSM_UNDO; Remove FSM_UNDO calls were fsm->postpone is set and FSM_UNDO doesn't do anything.

Prepare for killing the fsm: Inline remaining FSM_PROCESS code in FSM_PKGINSTALL

Prepare for killing the fsm: Remove superfluous check for being in FSM_PROCESS to allow killing FSM_PROCESS. fsmVerify is only called while being in FSM_PROCESS.

Prepare for killing the fsm: Make FSM_COMMIT a function

Prepare for killing the fsm: Move build code from PSM_PROCESS to FSM_PKGBUILD

Prepare for killing the fsm: Move code for erasing files from FSM_COMMIT to FSM_ERASE

Prepare for killing the fsm: Inline FSM_DESTROY in fsmTeardown()

Prepare for killing the fsm:  Inline FSM_FINI code.
Move cleaning the stat_s structs to fsmInit() (beginning of the loop instead of the end)
Drop freeing fsm->path as this is done in fsmInit() and fsmTeardown()

Prepare for killing the fsm: Inline the FSM_NOTIFY code

rpmbuild: warn if header color differs from color of the package architecture.

- For example, warn when building an x86_64 package that only contains 32
  bit binaries.
- This should indicate to the maintainers that they might have gotten the
  architecture wrong.
- Introduces 'archcolor' in rpmrc so we can map architectures to colors.
- Related: RhBug:713323

Axe leftover CANONARCH assignment messing up our "base" archs (RhBug:808250)

- This should've been in commit 2a8d03669732f68f02fa7b21ec87ee3f65d11e5b,
  the leftover CANONARCH resets the "base arch" we just set to a wrong
  value.

Accept files as command line arguments again in rpmdeps (RhBug:807767)

- Commit a25c3c7bac95ab7eb55f0ecf0b8793d8da341611 removed what was
  supposedly a non-supported method of passing files as arguments
  (instead of the normal stdin method) to rpmdeps. Turns out
  rpmdeps is even documented to take files as cli args, and that's
  how Fedora's %filter_setup macros are calling it...
- Allow files as arguments again, but in a way that doesn't cause
  argvFoo() vs popt crash-n-burn.

Inline FSM_NEXT

Remove left over debugging code

Move fsm_s to fsm.c and remove fsmNext() from fsm.h

Remove Fseek() code from rpmcpioHeaderRead for now
Fseek() does not return a proper error code. This needs to be fixed before we can use it as most comprssed files do not support seeking and we need to be able to detect this reliably

Untangle lib/fsm.c and lib/cpio.c

Create cpio_t data type that holds the underlaying FD_t instance
Move padding and position handling and trailer generation into cpio.c
Use only one buffer in the fsm (merging the read and write buffer)
Replace the FSM_EAT, FSM_POS, FSM_PAD, FSM_DREAD, FSM_DWRITE states with cpio functions
Prepend "rpm" to the cpio function names

Dont bother building internal versions of db utilities we dont need

- rpmdb_dump, load, recover, verify, stat etc are useful at times,
  but these are not. This also fixes build with internal db for
  more recent versions of Berkeley DB.

Eliminate broken data end calculation in dataLength()

- If the caller doesn't know the end pointer, we dont have a whole lot
  of chance to come up with a reasonable one either. Just assume
  the terminating \0's are there when end boundary is not specified:
  when this happens we're dealing with relatively "trusted" data
  anyway, the more critical case of reading in unknown headers does
  always pass end pointers.
- While capping the end pointer to HEADER_DATA_MAX seems like a
  reasonable thing to do (as was done in commit
  f79909d04e43cbfbbcdc588530a8c8033c5e0a7c), it doesn't really help
  (bad data would likely run past bounds anyway), and it's not right
  either: the pointer can be to a stack address, and the stack can be
  near the top of addressable range, and ptr + HEADER_DATA_MAX can
  cause pointer wraparound. Notably that's exactly what happens
  when running 32bit personality process on 64bit system on Linux,
  at least in case of i386 process on x86_64, causing all sorts of
  breakage..

Oops, "magic eight" is necessary here afterall

- Fix regression from commit 807b402d95702f3f91e9e2bfbd2b5ca8c9964ed9,
  the array gets passed as a pointer (how else would it work at all),
  so despite having seemingly correct type, sizeof(keyid) depends
  on the pointer size. This happens to be 8 on x86_64 and friends
  but breaks pgp fingerprint calculation on eg i386.
- Also return the explicit size from pgpExtractPubkeyFingerprint(),
  this has been "broken" for much longer but then all callers should
  really care about is -1 for error.

Add test case for scriptlet behavior

- The test-root has a shell but rpm doesn't know about it, add a
  fakeshell metapackage that provides it. Should come in handy for
  other cases as well, up to now we've been limited to lua scripts only.
- Test that all the "normal" scripts get executed, in expected order
  and with expected arguments, on install, upgrade and erase.
- This would've saved the rather embarrassing breakage with commit
  274dbf557d1cac90f7c278f9b6d6af05997d92df at least, but better
  late than never as they say... It also serves to highlight and
  document  the arguably broken arguments to %pre- and %posttrans
  scripts (ie always 0)

Transaction element file info can be legally NULL in some cases

- rpmteClose() will wipe out the file info to free memory, we only
  should care whether we failed to (re)load the file info. This
  thinko in commit 06a2f1269b035a3a76464149834f2a5a8c4e89f2
  broke %posttrans scriptlets (and without commit
  274dbf557d1cac90f7c278f9b6d6af05997d92df, %pretrans in other
  circumstances), whoopsie *blush*. Now, off to write a test-case
  for our scriptlet behavior...

Don't free up file info sets on transaction test-runs, take II

- Despite commit cef18c94807af0935b7796c462aab8ed39f0f376, we'd still
  end up freeing the file info sets via rpmteClose() while going
  through the test-transaction packages. This together with commit
  06a2f1269b035a3a76464149834f2a5a8c4e89f2 caused install failures
  on packages which have %pretrans scriptlets, if a test-transaction
  was first performed on the same transaction set that gets used
  for the "real" transaction as well. How wonderfully obscure...

Bump version to appear newer than 4.10.x branch

Update translations from Transifex

Bump library sonames in preparation for new release

- This is stupid... only librpm and librpmio actually need the bump due
  to ABI breakage, librpmbuild and librpmsign are unchanged and could
  use just a revision bump. But just incrementing the revision (or age)
  would set us on collision course with maintenance updates to 4.9.x.
  Then again its not like you can actually use librpmbuild or librpmsign
  without also linking to librpm(io) so from everything needs rebuilding
  anyway. This all also pretty much makes the whole libtool library
  versioning a bit moot. Bah.

Look up obsoletes both ways on dependency checking (RhBug:804069)

- "pure install" like 'rpm -i' never removes anything (long-standing
  behavior that we dont want to change), but that causes us to allow
  installing obsoleting packages without removing what they obsolete,
  which in turn causes errors on verify. Not good.
- This (together with commit 9fb81eac0bcd239e46459f72916099f1adfc5cb9)
  makes obsoletes behave like conflicts in such a case, preventing
  the inconsistency from taking place. Also verify will now whine
  on all the involved packages on inconsistencies.

Handle obsoletes (more) correctly in rpmdbProvides()

- Obsoletes should only be matched against package names, not provides,
  or file names for that matter. This hasn't really mattered so far
  due to the way rpmdbProvides() gets called currently, but there's
  a missing case that requires this...

Fixup couple of md5/digest references regarding verify in the manual

- '5' in verify stands for digest nowadays, keep the md5 reference to
  explain why 5 is for digest though (related to RhBug:804049)
- In --dump query everything relates to files, refer to the attribute
  in question ie 'digest' instead of 'filedigest'

Fix find-lang to correctly detect all translations for new gnome help

This was not working for locales with a territory (fr_FR, for instance).

Signed-off-by: Panu Matilainen <pmatilai@redhat.com>

Include more package information in the progress output

- For non-hashed mode, dump the full NEVRA string. This might break
  programs that are parsing the --percent format, but such programs
  almost certainly need adjusting for the added erasure progress anyway.
- For hashed mode, show package NEVR instead of just name. Otherwise
  somebody will sooner or later file a bug on "confusing output"
  as it might seem it's removing what it just installed in upgrade-mode.
  Full NEVRA would be better still but screen estate is tight as it is...
- Also get rid of headerFormat() call here, use RPMTAG_NEVR(A) extensions
  instead.

Make a bit more room for names in progress output (cosmetics)

Fix rpm2cpio.sh error exit on unrecognized compression

- This is not a function so it needs to be exit, not return.
  Reported as a side-note in RhBug:803421.

Unbreak lua's base64 encode/decode extensions

- Commit 70f063cb773bedb7d336429d9bc8ed1d4e5d18f4 accidentally
  changed lua's base64 encode/decode interface too, ugh. Dangers of
  search-and-replace... Only the function name string exported to
  lua matters but renaming the internal functions back as well
  for naming consistency.

Make rpm2cpio exit code accurate for large packages and partial copy

- Grab the uncompressed payload size from header and compare number
  of bytes copied to that for exit code. Previously, truncated
  payloads could have returned with success. This also fixes the
  exit code for large payloads (RhBug:790396)

Fix ufdCopy() for large (> 2GB) files

- Files can be (much) larger than INT32_MAX, change the return
  type to off_t and fix + simplify the calculations. Fixes the other
  half of RhBug:790396 and makes ufdCopy() usable for other purposes too.

Teach rpm2cpio.sh about xz compression (RhBug:674348 & others)

Eliminate rpmSetTable() from the API

- Presumably the rpmrc internals still need the magic table tennis
  but nobody else should want to mess with this, reconfiguration
  for another (build) arch is done through rpmReadConfigFiles().

rpmSetTables() call in rpmbuild has been dying long enough by now

- The call to rpmSetTables() from rpmbuild is simply redundant for
  all I can tell, it gets called from inside rpmrc/config processing
  with the same values and the extra call here never changes anything
  as the tables have already been set through rpmReadConfigFiles()
  whether building for several targets or not.

Allow silent build on automake versions that support it

Whoops, dont make install progress callbacks on erasure

Optimize python db index instances list generation and fix related leak

- The number of entries is well know, allocate the entire list at
  once and set instead of appending one by one. Also cures a leak from
  created tuples not being decref'ed before - list set steals the
  reference whereas append requires an additional decref to transfer
  the ownership to the list.

Optimize header data python conversion for array tags a bit

- We know the array size beforehand, allocate the entire array
  at once and set the elements instead of appending one by one.
  This is (an obvious) and well-measurable, if not a huge, win.

Pull updated translations from Transifex

Revert to former spec query behavior + comment

- Various tools expect to get the full package list, not just those
  that would actually be built. There are of just as valid reasons
  for only wanting the packages that would be built, but we need
  to make this caller specifiable, just changing the behavior breaks
  existing tools unnecessarily. Add reminder comment why the thing
  is the way it is...

Add --disable-dependency-tracking to %configure options.

autotools dependency tracking isn't generally useful in rpm builds;
disabling it results in cleaner build logs and possibly slight build
speedups.

Signed-off-by: Panu Matilainen <pmatilai@redhat.com>

Warn but dont fail the build on STABS debuginfo (RhBug:725378, others)

- debugedit doesn't support STABS but there are some crazy cases
  like PPC Linux kernel which contains both STABS and DWARF debuginfo
  sections, manually added. A better fix would be erroring out
  if we didn't find any usable debuginfo and warning otherwise but
  this at least folks get their kernels built.

Disable source fetch on build by default (for now) + comment

- We need to grow some digest (and why not external signature as well)
  validation mechanism before we can let rpmbuild download + execute
  arbitrary content from the internet, at least by default.

Teach find-lang about the new gnome help layout (RhBug:736523)

Generate debug symlinks for all filenames sharing a build-id (RhBug:641377)

Signed-off-by: Panu Matilainen <pmatilai@redhat.com>

Correctly quote tr [:blank:] in OCaml dependency scripts.

This fixes: https://bugzilla.redhat.com/show_bug.cgi?id=796149

Signed-off-by: Panu Matilainen <pmatilai@redhat.com>

Explicitly remap device numbers along with inodes at build

- Buildroot cannot cross filesystem boundaries without evil tricks,
  which is what the fs boundary sanity check from commit
  7a9a5505667c681044bacb21c9b84ac66c062fe7 was intended to catch.
  However in the case of source rpms, spec and sources can legitimately
  reside on different filesystems (one case of this is rpmbuild -ts
  from cwd on different fs than the %_topdir) and needs to be permitted.
- Since we flatten the inodes to appear from a single filesystem,
  we need to also flatten the device numbers to match this. Turns
  out handling this is simpler than trying to prevent it :) Oh well...
  As we use the actual fs values for build-time hardlink discovery
  this should correctly handle hardlinks even if packaging crosses
  fs boundaries.
- Device number 1 which we use is probably equally bogus on all
  platforms, but this is irrelevant as the device and inode numbers
  are only used for hardlink discovery.

Only consider rpmdb growth for added packages

- Blargh, dumb thinko in previous commit: removed packages wont
  necessarily decrease the rpmdb size, but they dont increase it
  either.

Fix invalid memory access from rpmdb growth estimation (RhBug:766260)

- The dsi retrieved from rpmtsDbDSI() would become invalid whenever
  ts->dsi structure got realloced, ie anytime when disk space is
  calculated for a different fs than where the rpmdb resides. This
  is likely to be the real issue behind RhBug:766260 and also RhBug:671056.
  Just call rpmtsUpdateDSI() directly with suitable arguments for the
  rpmdb to avoid the special (re)alloc paths.
- In addition, consider the db growth for packages with no files too.

Don't process spec %include in false branch of %if clauses (RhBug:782970)

Unbreak rpm -V output (RhBug:797964)

- Commit ac0ab016a5ec31e65eb0c0910a5a6f1199aae3e7 unintentionally
  changed the order of the problems shown in verify strings due to
  a dumb oversight (greetings to self, duh). In other words, this
  fixes a verify output regression in rpm >= 4.9.x by restoring
  the long-standing (and documented) order of the verify output chars.
- Also fix the testcase which unfortunately was only added after
  the output-changing commit so it didn't catch the breakage either :-/

Add a testcase for tag extension bad file name triplet detection

Raise exception in python on headerGet() invalid data failure

Test for file data tag sanity in fnTag() extensions

- Basename and dirindex counts must be equal, dirnames count must be
  larger than zero and no larger than number of basenames. Check
  that directory indexes are within range. Additionally file states
  array size, if used, must equal to the genaral file count.

Fix crash on INSTFILENAMES extension on non-installed package

- Packages with no RPMTAG_FILESTATES cannot have installed files
  from our POV, just exit early in that case.
- Rerrange the exit path a bit and only call rpmtdFreeData() on
  file states if the corresponding headerGet() call was actually
  made. Wont make any difference yet, but once we have other jumps
  to exit it will.

Sanitize filename tag extension handling

- Rename rpmfiBuildFNames() to fnTag() and push all the td manipulation
  there, making all the various different fn-related tags differ by
  just the arguments to fnTag() and allowing central error etc
  handling. No functional changes (yet) though.

Flag error in tag container for non-extension tag retrieval

- This should mostly be a can't happen case, but at least in theory
  region retrieval could fail. So could unknown data type, but a header
  with unknown data types shouldn't even load... Anyway, there could
  be further error cases we might be able to flag here.

Add error indicator flag for tag data containers

- Tag retrieval can in some cases fail, especially so for tag
  extensions. The headerGet() interface doesn't directly allow
  distinguishing between non-existent tag and existent but invalid,
  but we can sneak in that information through in the tag data flags.

Add getter for rpmtd flags

- While these are mostly of rpmtd-internal interest only, there are
  cases when caller might want to know...

Remap inode numbers to fit into 32bit integer space on build (RhBug:714678)

- 64bit inode numbers lose their uniquity when brutally truncated
  to 32bit integers as we've done so far. This can and will cause rpm
  (and cpio) to mix up arbitrary file entries as hardlinks and vice versa.
- As the only interesting aspect of inode numbers is whether they're
  equal to something else or not, we dont have to carry the "physical"
  on-disk value to preserve semantics. So we can just remap the
  inode numbers to something that fits our 32bit integer tags
  without causing compatibility complexies with older rpms and
  cpio (and since we can't handle more than INT32_MAX files in a package
  anyway, breaking compatibility for this would be just braindead dumb).
  An extremely simple way to achieve this is to use our
  build-time file list index as the basis of stored inode number.
- In theory this breaks inode-device pairing, but as the buildroot
  cannot span across filesystems in any remotely normal conditions,
  just add a sanity check to catch the dirty tricksters...
- Based on a patch by Zdenek Pavlas, just further simplified and
  buildroot fs boundary sanity check added.

Also test that total size is calculated correctly wrt hardlinks

Add a rough-cut testcase for hardlink handling

- Check that we get expected number of links in package generation,
  that all the files got installed and that the linked files are
  actually hardlinks (for our purposes, plain inode suffices)

Add tag extension to calculate hardlink count for files

Switch back to former, much smaller BDB memory pool size (RhBug:752897)

- A larger cache is beneficial in various scenarios, but triggers
  horrible worst-case performance under memory pressure (or so my
  current theory goes, there might be other factors too). The
  worst-case degration is orders of magnitude bigger than the best-case
  improvements from the larger cache and for many use-cases doesn't
  make a whole lot difference.  We could/should tune the cache with
  priorizing indexes and all, and perhaps dynamically select the
  cache size but for now, the 1Mb cache size is known to "just work".

Add --test option to rpmkeys

- Allows, well, testing whether a key could be imported before actually
  doing it

Honor RPMTRANS_FLAG_TEST in rpmtsImportPubkey()

Remove the arbitrary limitation on transaction keyring change

- There are some situations where switching keyrings might be wanted,
  especially as long as we dont export a way to pass keyring as
  an argument to package reading/verification functions. Since thereäs
  no technical reason to disallow it, might as well allow it...

Disable signature checking during database rebuild by default

- While it would be perfectly reasonable to perform signature
  checking during db rebuild, this is problematic as long as our
  keys live in the same database we're rebuilding: the environment
  might be paniced, the indexes required for key lookups might be
  corrupt or non-existent etc - one would assume there's a reason for
  the db is getting rebuilt in the first place. When signature checking
  is enabled, we're forced to generate missing indexes on the potentially
  borked database we're just about to rebuild, which might not go very
  well, and since they keyring loading has no clue its getting called
  from middle of db rebuild it'll try to use a shared environment
  which might be broken ... etc.

Use private environment for database rebuilds too, document

- One of the more common reasons for users to do --rebuilddb is
  a paniced environment. Throwing DB_RUNRECOVER errors at the user
  who is trying to recover by rebuilding the db isn't terribly
  productive (RhBug:590710). Use a private environment while
  rebuilding for both the original and new database, and dont bother
  with CDB which only slows things down when there are no other
  players present.
- Verify wants the same flags but for different reasons...

Never load ts keyring if signature checking is disabled

- Loading the pubkeys from database numerous often unwanted side-effects,
  if signature checking is disabled then there's no point loading
  the keys either.
- Commit cad147070e5513312d851f44998012e8f0cdf1e3 did this for
  rpmReadPackageFile() specifically but we really want it honored
  for all operations including headerCheck() and friends, handle
  it centrally in loadKeys() for simplicity.

Don't free up file info sets on transaction test-runs

- We'd like to get rid of the potentially huge amounts of memory
  eaten by file info sets as early as possible, but when there's a
  chance that we'll get called again with either added transacation
  elements or on-disk changes, such as %pretrans changing something
  underneath us, we need to (be able to) recalculate everything
  from scratch. Only free up the memory when we know we dont need
  it anymore, ie on an actual transaction run.
- This doesn't change anything for rpm itself, for yum and others
  which do a separate test-transaction first, it means %pretrans
  directory<->symlink replacement hacks and the like have a chance
  of working again. I'm sure there's a bug filed on this somewhere but...

Use rpmReadHeader() on signature checking path too

- rpmReadHeader() performs far more initial sanity checks on the header
  than headerRead() does, and makes behavior consistent with eg query
  and install paths. As an added bonus we'll get more detailed
  error messages too.