util/fossilize_db: add basic fossilize db util to read/write shader caches
authorTimothy Arceri <tarceri@itsqueeze.com>
Mon, 19 Oct 2020 03:33:44 +0000 (14:33 +1100)
committerMarge Bot <eric+marge@anholt.net>
Sun, 21 Feb 2021 02:50:45 +0000 (02:50 +0000)
commiteca6bb9540d8d1b260511cd0a71bdddb00ff4a3c
treeea0690bd634ae46ab58a86ac25d5f960317e0694
parent1fabc4ecbedd1fbfaca7886cf1b34a7e9409a80b
util/fossilize_db: add basic fossilize db util to read/write shader caches

My benchmarking shows no significant change in cache load times with a
single shader cache file vs the existing cache implementation of many
small files (tested with my spinning rust HDD).

However this new single file cache implementation does reduce the total
size on disk used by the shader cache. We have a problem with the existing
cache where writing tiny files to disk causes more disk space to be used than
is actually needed for the files due to the minimum size required for a file.
In pratice this tends to inflate the size of the cache on disk to over 3x
larger.

There are other advantages of using a single file for shader cache entries
such as allowing better removal of cache entries once we hit the max cache
size limit (although we don't implement any max cache size handling in this
initial implementation).

The primary reason for implementing a single file cache for now is to allow
better performance and handling by third party applications such as steam
that collect and distribute precompiled cache entries.

For this reason we also implement a new environment variable
MESA_DISK_CACHE_READ_ONLY_FOZ_DBS which allows a user to pass in a path
to a number of external read only shader cache dbs. There is an initial
limit of 8 dbs that can be passed to mesa like so:

MESA_DISK_CACHE_READ_ONLY_FOZ_DBS=/full_path/filename1, ... ,/full_path/filename8

Where the filename represents the cache db and its index file e.g.
filename1.foz and filename1_idx.foz

Acked-by: Pierre-Eric Pelloux-Prayer <pierre-eric.pelloux-prayer@amd.com>
Part-of: <https://gitlab.freedesktop.org/mesa/mesa/-/merge_requests/7725>
src/util/fossilize_db.c [new file with mode: 0644]
src/util/fossilize_db.h [new file with mode: 0644]
src/util/meson.build