src/native_client/tools/trusted_cross_toolchains/trusted-toolchain-creator.armhf.precise.sh

   1 #!/bin/bash
   2 # Copyright (c) 2012 The Native Client Authors. All rights reserved.
   3 # Use of this source code is governed by a BSD-style license that can be
   4 # found in the LICENSE file.
   5 #
   6 #@ This script builds the (trusted) cross toolchain for arm.
   7 #@ It must be run from the native_client/ directory.
   8 #@
   9 #@ The toolchain consists primarily of a jail with arm header and libraries.
  10 #@ It also provides additional tools such as QEMU.
  11 #@ It does NOT provide the actual cross compiler anymore.
  12 #@ The cross compiler is now comming straight from a debian package.
  13 #@ So there is a one-time step required for all machines using this TC.
  14 #@ Which is especially true for build-bots:
  15 #@
  16 #@  tools/trusted_cross_toolchains/trusted-toolchain-creator.armhf.precise.sh  InstallCrossArmBasePackages
  17 #@
  18 #@
  19 #@  Generally this script is invoked as:
  20 #@  tools/trusted_cross_toolchains/trusted-toolchain-creator.armhf.precise.sh <mode> <args>*
  21 #@  Available modes are shown below.
  22 #@
  23 #@ This Toolchain was tested with Ubuntu Precise
  24 #@
  25 #@ Usage of this TC:
  26 #@  compile: arm-linux-gnueabihf-gcc -march=armv7-a -isystem ${JAIL}/usr/include
  27 #@  link:    arm-linux-gnueabihf-gcc -L${JAIL}/usr/lib -L${JAIL}/usr/lib/arm-linux-gnueabihf
  28 #@                                 -L${JAIL}/lib -L${JAIL}/lib/arm-linux-gnueabihf
  29 #@
  30 #@ Usage of QEMU
  31 #@  TBD
  32 #@
  33 #@ List of modes:
  34
  35 ######################################################################
  36 # Config
  37 ######################################################################
  38
  39 set -o nounset
  40 set -o errexit
  41
  42 readonly SCRIPT_DIR=$(dirname $0)
  43
  44 # this where we create the ARMEL "jail"
  45 readonly INSTALL_ROOT=$(pwd)/toolchain/linux_x86/arm_trusted
  46
  47 readonly TMP=/tmp/armhf-crosstool-precise
  48
  49 readonly REQUIRED_TOOLS="wget"
  50
  51 readonly MAKE_OPTS="-j8"
  52
  53 ######################################################################
  54 # Package Config
  55 ######################################################################
  56
  57 # this where we get the cross toolchain from for the manual install:
  58 readonly CROSS_ARM_TC_REPO=http://archive.ubuntu.com/ubuntu
  59 # this is where we get all the armhf packages from
  60 readonly ARMEL_REPO=http://ports.ubuntu.com/ubuntu-ports
  61
  62 readonly PACKAGE_LIST="${ARMEL_REPO}/dists/precise/main/binary-armhf/Packages.bz2"
  63 readonly PACKAGE_LIST2="${ARMEL_REPO}/dists/precise-security/main/binary-armhf/Packages.bz2"
  64
  65 # Packages for the host system
  66 # NOTE: at one point we should get rid of the 4.5 packages
  67 readonly CROSS_ARM_TC_PACKAGES="\
  68   libc6-armhf-cross \
  69   libc6-dev-armhf-cross \
  70   libgcc1-armhf-cross \
  71   libgomp1-armhf-cross \
  72   linux-libc-dev-armhf-cross \
  73   libgcc1-dbg-armhf-cross \
  74   libgomp1-dbg-armhf-cross \
  75   binutils-arm-linux-gnueabihf \
  76   cpp-arm-linux-gnueabihf \
  77   gcc-arm-linux-gnueabihf \
  78   g++-arm-linux-gnueabihf \
  79   cpp-4.5-arm-linux-gnueabihf \
  80   gcc-4.5-arm-linux-gnueabihf \
  81   g++-4.5-arm-linux-gnueabihf \
  82   libmudflap0-dbg-armhf-cross
  83 "
  84
  85 # Jail packages: these are good enough for native client
  86 # NOTE: the package listing here should be updated using the
  87 # GeneratePackageListXXX() functions below
  88 readonly ARMEL_BASE_PACKAGES="\
  89   libssl-dev \
  90   libssl1.0.0 \
  91   libgcc1 \
  92   libc6 \
  93   libc6-dev \
  94   libstdc++6 \
  95   libx11-dev \
  96   libx11-6 \
  97   x11proto-core-dev \
  98   libxt-dev \
  99   libxt6 \
 100   zlib1g \
 101   zlib1g-dev"
 102
 103 # Additional jail packages needed to build chrome
 104 # NOTE: the package listing here should be updated using the
 105 # GeneratePackageListXXX() functions below
 106 readonly ARMEL_BASE_DEP_LIST="${SCRIPT_DIR}/packagelist.precise.armhf.base"
 107 readonly ARMEL_BASE_DEP_FILES="$(cat ${ARMEL_BASE_DEP_LIST})"
 108
 109 readonly ARMEL_EXTRA_PACKAGES="\
 110   comerr-dev \
 111   krb5-multidev \
 112   libasound2 \
 113   libasound2-dev \
 114   libatk1.0-0 \
 115   libatk1.0-dev \
 116   libcairo2 \
 117   libcairo2-dev \
 118   libcairo-gobject2 \
 119   libcairo-script-interpreter2 \
 120   libcomerr2 \
 121   libcups2 \
 122   libcups2-dev \
 123   libdbus-1-3 \
 124   libdbus-1-dev \
 125   libdbus-glib-1-2 \
 126   libexif12 \
 127   libexif-dev \
 128   libexpat1 \
 129   libexpat1-dev \
 130   libffi6 \
 131   libfontconfig1 \
 132   libfontconfig1-dev \
 133   libfreetype6 \
 134   libfreetype6-dev \
 135   libgconf-2-4 \
 136   libgconf2-4 \
 137   libgconf2-dev \
 138   libgpg-error0 \
 139   libgpg-error-dev \
 140   libgcrypt11 \
 141   libgcrypt11-dev \
 142   libgdk-pixbuf2.0-0 \
 143   libgdk-pixbuf2.0-dev \
 144   libgnutls26 \
 145   libgnutlsxx27 \
 146   libgnutls-dev \
 147   libgnutls-openssl27 \
 148   libgssapi-krb5-2 \
 149   libgssrpc4 \
 150   libgtk2.0-0 \
 151   libgtk2.0-dev \
 152   libglib2.0-0 \
 153   libglib2.0-dev \
 154   libgnome-keyring0 \
 155   libgnome-keyring-dev \
 156   libkadm5clnt-mit8 \
 157   libkadm5srv-mit8 \
 158   libkdb5-6 \
 159   libkrb5-3 \
 160   libkrb5-dev \
 161   libkrb5support0 \
 162   libk5crypto3 \
 163   libnspr4 \
 164   libnspr4-dev \
 165   libnss3 \
 166   libnss3-dev \
 167   libnss-db \
 168   liborbit2 \
 169   libcap-dev \
 170   libcap2 \
 171   libpam0g \
 172   libpam0g-dev \
 173   libpango1.0-0 \
 174   libpango1.0-dev \
 175   libpci3 \
 176   libpci-dev \
 177   libpcre3 \
 178   libpcre3-dev \
 179   libpcrecpp0 \
 180   libpixman-1-0 \
 181   libpixman-1-dev \
 182   libpng12-0 \
 183   libpng12-dev \
 184   libpulse0 \
 185   libpulse-dev \
 186   libpulse-mainloop-glib0 \
 187   libselinux1 \
 188   libspeechd2 \
 189   libspeechd-dev \
 190   libudev0 \
 191   libudev-dev \
 192   libxext-dev \
 193   libxext6 \
 194   libxau-dev \
 195   libxau6 \
 196   libxcb1 \
 197   libxcb1-dev \
 198   libxcb-render0 \
 199   libxcb-render0-dev \
 200   libxcb-shm0 \
 201   libxcb-shm0-dev \
 202   libxcomposite1 \
 203   libxcomposite-dev \
 204   libxcursor1 \
 205   libxcursor-dev \
 206   libxdamage1 \
 207   libxdamage-dev \
 208   libxdmcp6 \
 209   libxfixes3 \
 210   libxfixes-dev \
 211   libxi6 \
 212   libxi-dev \
 213   libxinerama1 \
 214   libxinerama-dev \
 215   libxrandr2 \
 216   libxrandr-dev \
 217   libxrender1 \
 218   libxrender-dev \
 219   libxss1 \
 220   libxss-dev \
 221   libxtst6 \
 222   libxtst-dev \
 223   speech-dispatcher \
 224   x11proto-composite-dev \
 225   x11proto-damage-dev \
 226   x11proto-fixes-dev \
 227   x11proto-input-dev \
 228   x11proto-kb-dev \
 229   x11proto-randr-dev \
 230   x11proto-record-dev \
 231   x11proto-render-dev \
 232   x11proto-scrnsaver-dev \
 233   x11proto-xext-dev"
 234
 235 # NOTE: the package listing here should be updated using the
 236 # GeneratePackageListXXX() functions below
 237 readonly ARMEL_EXTRA_DEP_LIST="${SCRIPT_DIR}/packagelist.precise.armhf.extra"
 238 readonly ARMEL_EXTRA_DEP_FILES="$(cat ${ARMEL_EXTRA_DEP_LIST})"
 239
 240 ######################################################################
 241 # Helper
 242 ######################################################################
 243
 244 Banner() {
 245   echo "######################################################################"
 246   echo $*
 247   echo "######################################################################"
 248 }
 249
 250
 251 SubBanner() {
 252   echo "......................................................................"
 253   echo $*
 254   echo "......................................................................"
 255 }
 256
 257
 258 Usage() {
 259   egrep "^#@" $0 | cut --bytes=3-
 260 }
 261
 262
 263 DownloadOrCopy() {
 264   if [[ -f "$2" ]] ; then
 265      echo "$2 already in place"
 266   elif [[ $1 =~  'http://' ]] ; then
 267     SubBanner "downloading from $1 -> $2"
 268     wget $1 -O $2
 269   else
 270     SubBanner "copying from $1"
 271     cp $1 $2
 272   fi
 273 }
 274
 275
 276 # some sanity checks to make sure this script is run from the right place
 277 # with the right tools
 278 SanityCheck() {
 279   Banner "Sanity Checks"
 280
 281   if [[ $(basename $(pwd)) != "native_client" ]] ; then
 282     echo "ERROR: run this script from the native_client/ dir"
 283     exit -1
 284   fi
 285
 286   if ! mkdir -p "${INSTALL_ROOT}" ; then
 287      echo "ERROR: ${INSTALL_ROOT} can't be created."
 288     exit -1
 289   fi
 290
 291   if ! mkdir -p "${TMP}" ; then
 292      echo "ERROR: ${TMP} can't be created."
 293     exit -1
 294   fi
 295
 296   for tool in ${REQUIRED_TOOLS} ; do
 297     if ! which ${tool} ; then
 298       echo "Required binary $tool not found."
 299       echo "Exiting."
 300       exit 1
 301     fi
 302   done
 303 }
 304
 305
 306 ChangeDirectory() {
 307   # Change direcotry to top 'native_client' directory.
 308   cd $(dirname ${BASH_SOURCE})
 309   cd ../..
 310 }
 311
 312
 313 # TODO(robertm): consider wiping all of ${BASE_DIR}
 314 ClearInstallDir() {
 315   Banner "clearing dirs in ${INSTALL_ROOT}"
 316   rm -rf ${INSTALL_ROOT}/*
 317 }
 318
 319
 320 CreateTarBall() {
 321   local tarball=$1
 322   Banner "creating tar ball ${tarball}"
 323   tar cfz ${tarball} -C ${INSTALL_ROOT} .
 324 }
 325
 326 ######################################################################
 327 # One of these has to be run ONCE per machine
 328 ######################################################################
 329
 330 #@
 331 #@ InstallCrossArmBasePackages
 332 #@
 333 #@      Install packages needed for arm cross compilation.
 334 InstallCrossArmBasePackages() {
 335   sudo apt-get install ${CROSS_ARM_TC_PACKAGES}
 336 }
 337
 338 ######################################################################
 339 #
 340 ######################################################################
 341
 342 #@
 343 #@ InstallTrustedLinkerScript
 344 #@
 345 #@     This forces the loading address of sel_ldr like programs
 346 #@     to higher memory areas where they do not conflict with
 347 #@     untrusted binaries.
 348 #@     This likely no longer used because of "nacl_helper_bootstrap".
 349 InstallTrustedLinkerScript() {
 350   local trusted_ld_script=${INSTALL_ROOT}/ld_script_arm_trusted
 351   # We are using the output of "ld --verbose" which contains
 352   # the linker script delimited by "=========".
 353   # We are changing the image start address to 70000000
 354   # to move the sel_ldr and other images "out of the way"
 355   Banner "installing trusted linker script to ${trusted_ld_script}"
 356
 357   arm-linux-gnueabihf-ld  --verbose |\
 358       grep -A 10000 "=======" |\
 359       grep -v "=======" |\
 360       sed -e 's/00008000/70000000/g' > ${trusted_ld_script}
 361 }
 362
 363 HacksAndPatches() {
 364   rel_path=toolchain/linux_x86/arm_trusted
 365   Banner "Misc Hacks & Patches"
 366   # these are linker scripts with absolute pathnames in them
 367   # which we rewrite here
 368   lscripts="${rel_path}/usr/lib/arm-linux-gnueabihf/libpthread.so \
 369             ${rel_path}/usr/lib/arm-linux-gnueabihf/libc.so"
 370
 371   SubBanner "Rewriting Linker Scripts"
 372   echo $PWD
 373   echo $PWD
 374   echo $PWD
 375   sed -i -e 's|/usr/lib/arm-linux-gnueabihf/||g' ${lscripts}
 376   sed -i -e 's|/lib/arm-linux-gnueabihf/||g' ${lscripts}
 377
 378   # This is for chrome's ./build/linux/pkg-config-wrapper
 379   # which overwrites PKG_CONFIG_PATH internally
 380   SubBanner "Package Configs Symlink"
 381   mkdir -p ${rel_path}/usr/share
 382   ln -s ../lib/arm-linux-gnueabihf/pkgconfig ${rel_path}/usr/share/pkgconfig
 383 }
 384
 385
 386 InstallMissingArmLibrariesAndHeadersIntoJail() {
 387   Banner "Install Libs And Headers Into Jail"
 388
 389   mkdir -p ${TMP}/armhf-packages
 390   mkdir -p ${INSTALL_ROOT}
 391   for file in $@ ; do
 392     local package="${TMP}/armhf-packages/${file##*/}"
 393     Banner "installing ${file}"
 394     DownloadOrCopy ${ARMEL_REPO}/pool/${file} ${package}
 395     SubBanner "extracting to ${INSTALL_ROOT}"
 396     if [[ ! -s ${package} ]] ; then
 397       echo
 398       echo "ERROR: bad package ${package}"
 399       exit -1
 400     fi
 401     dpkg --fsys-tarfile ${package}\
 402       | tar -xvf - --exclude=./usr/share -C ${INSTALL_ROOT}
 403   done
 404 }
 405
 406
 407 CleanupJailSymlinks() {
 408   Banner "jail symlink cleanup"
 409
 410   pushd ${INSTALL_ROOT}
 411   find usr/lib -type l -printf '%p %l\n' | while read link target; do
 412     # skip links with non-absolute paths
 413     if [[ ${target} != /* ]] ; then
 414       continue
 415     fi
 416     echo "${link}: ${target}"
 417     case "${link}" in
 418       usr/lib/arm-linux-gnueabihf/*)
 419         # Relativize the symlink.
 420         ln -snfv "../../..${target}" "${link}"
 421         ;;
 422       usr/lib/*)
 423         # Relativize the symlink.
 424         ln -snfv "../..${target}" "${link}"
 425         ;;
 426     esac
 427   done
 428
 429   find usr/lib -type l -printf '%p %l\n' | while read link target; do
 430     if [ ! -r "${link}" ]; then
 431       echo "ERROR: FOUND BAD LINK ${link}"
 432       exit -1
 433     fi
 434   done
 435   popd
 436 }
 437
 438 #@
 439 #@ BuildAndInstallQemu
 440 #@
 441 #@     Build ARM emulator including some patches for better tracing
 442 #
 443 # Historic Notes:
 444 # Traditionally we were building static 32 bit images of qemu on a
 445 # 64bit system which would run then on both x86-32 and x86-64 systems.
 446 # The latest version of qemu contains new dependencies which
 447 # currently make it impossible to build such images on 64bit systems
 448 # We can build a static 64bit qemu but it does not work with
 449 # the sandboxed translators for unknown reason.
 450 # So instead we chose to build 32bit shared images.
 451 #
 452
 453 readonly QEMU_TARBALL=$(readlink -f ../third_party/qemu/qemu-1.0.1.tar.gz)
 454 readonly QEMU_PATCH=$(readlink -f ../third_party/qemu/qemu-1.0.1.patch_arm)
 455 readonly QEMU_DIR=qemu-1.0.1
 456
 457 BuildAndInstallQemu() {
 458   local saved_dir=$(pwd)
 459   local tmpdir="${TMP}/qemu.nacl"
 460
 461   Banner "Building qemu in ${tmpdir}"
 462
 463   if [[ -z "$QEMU_TARBALL" ]] ; then
 464     echo "ERROR: missing qemu tarball: ../third_party/qemu/qemu-1.0.1.tar.gz"
 465     exit 1
 466   fi
 467
 468   rm -rf ${tmpdir}
 469   mkdir ${tmpdir}
 470   cd ${tmpdir}
 471   SubBanner "Untaring ${QEMU_TARBALL}"
 472   tar zxf ${QEMU_TARBALL}
 473   cd ${QEMU_DIR}
 474
 475   SubBanner "Patching ${QEMU_PATCH}"
 476   patch -p1 < ${QEMU_PATCH}
 477
 478   SubBanner "Configuring"
 479   env -i PATH=/usr/bin/:/bin \
 480     ./configure \
 481     --extra-cflags="-m32" \
 482     --extra-ldflags="-Wl,-rpath=/lib32" \
 483     --disable-system \
 484     --enable-linux-user \
 485     --disable-darwin-user \
 486     --disable-bsd-user \
 487     --target-list=arm-linux-user \
 488     --disable-smartcard-nss \
 489     --disable-sdl
 490
 491 # see above for why we can no longer use -static
 492 #    --static
 493
 494   SubBanner "Make"
 495   env -i PATH=/usr/bin/:/bin \
 496       V=99 make MAKE_OPTS=${MAKE_OPTS}
 497
 498   SubBanner "Install ${INSTALL_ROOT}"
 499   cp arm-linux-user/qemu-arm ${INSTALL_ROOT}
 500   cd ${saved_dir}
 501   cp tools/trusted_cross_toolchains/qemu_tool_arm.sh ${INSTALL_ROOT}
 502   ln -sf qemu_tool_arm.sh ${INSTALL_ROOT}/run_under_qemu_arm
 503 }
 504
 505 #@
 506 #@ BuildJail <tarball-name>
 507 #@
 508 #@    Build everything and package it
 509 BuildJail() {
 510   ClearInstallDir
 511   InstallMissingArmLibrariesAndHeadersIntoJail \
 512     ${ARMEL_BASE_DEP_FILES} \
 513     ${ARMEL_EXTRA_DEP_FILES}
 514   CleanupJailSymlinks
 515   InstallTrustedLinkerScript
 516   HacksAndPatches
 517   BuildAndInstallQemu
 518   CreateTarBall $1
 519 }
 520
 521 #
 522 # GeneratePackageList
 523 #
 524 #     Looks up package names in ${TMP}/Packages and write list of URLs
 525 #     to output file.
 526 #
 527 GeneratePackageList() {
 528   local output_file=$1
 529   echo "Updating: ${output_file}"
 530   /bin/rm -f ${output_file}
 531   shift
 532   for pkg in $@ ; do
 533     local pkg_full=$(grep -A 1 "${pkg}\$" ${TMP}/Packages | tail -1 | egrep -o "pool/.*")
 534     if [[ -z ${pkg_full} ]]; then
 535         echo "ERROR: missing package: $pkg"
 536         exit 1
 537     fi
 538     echo $pkg_full | sed "s/^pool\///" >> $output_file
 539   done
 540   # sort -o does an in-place sort of this file
 541   sort $output_file -o $output_file
 542 }
 543
 544 #@
 545 #@ UpdatePackageLists
 546 #@
 547 #@     Regenerate the armhf package lists such that they contain an up-to-date
 548 #@     list of URLs within the ubuntu archive.
 549 #@
 550 UpdatePackageLists() {
 551   local package_list="${TMP}/Packages.precise.bz2"
 552   local package_list2="${TMP}/Packages.precise-security.bz2"
 553   DownloadOrCopy ${PACKAGE_LIST} ${package_list}
 554   DownloadOrCopy ${PACKAGE_LIST2} ${package_list2}
 555   bzcat ${package_list} ${package_list2} | egrep '^(Package:|Filename:)' > ${TMP}/Packages
 556
 557   GeneratePackageList ${ARMEL_BASE_DEP_LIST} "${ARMEL_BASE_PACKAGES}"
 558   GeneratePackageList ${ARMEL_EXTRA_DEP_LIST} "${ARMEL_EXTRA_PACKAGES}"
 559 }
 560
 561 if [[ $# -eq 0 ]] ; then
 562   echo "ERROR: you must specify a mode on the commandline"
 563   echo
 564   Usage
 565   exit -1
 566 elif [[ "$(type -t $1)" != "function" ]]; then
 567   echo "ERROR: unknown function '$1'." >&2
 568   echo "For help, try:"
 569   echo "    $0 help"
 570   exit 1
 571 else
 572   ChangeDirectory
 573   SanityCheck
 574   "$@"
 575 fi