init-tools.sh

   1 #!/usr/bin/env bash
   2
   3 __scriptpath=$(cd "$(dirname "$0")"; pwd -P)
   4 __init_tools_log=$__scriptpath/init-tools.log
   5 __PACKAGES_DIR=$__scriptpath/packages
   6 __TOOLRUNTIME_DIR=$__scriptpath/Tools
   7 __DOTNET_PATH=$__TOOLRUNTIME_DIR/dotnetcli
   8 __DOTNET_CMD=$__DOTNET_PATH/dotnet
   9 if [ -z "$__BUILDTOOLS_SOURCE" ]; then __BUILDTOOLS_SOURCE=https://dotnet.myget.org/F/dotnet-buildtools/api/v3/index.json; fi
  10 export __BUILDTOOLS_USE_CSPROJ=true
  11 __BUILD_TOOLS_PACKAGE_VERSION=$(cat $__scriptpath/BuildToolsVersion.txt)
  12 __DOTNET_TOOLS_VERSION=$(cat $__scriptpath/DotnetCLIVersion.txt)
  13 __BUILD_TOOLS_PATH=$__PACKAGES_DIR/microsoft.dotnet.buildtools/$__BUILD_TOOLS_PACKAGE_VERSION/lib
  14 __INIT_TOOLS_RESTORE_PROJECT=$__scriptpath/init-tools.msbuild
  15 __BUILD_TOOLS_SEMAPHORE=$__TOOLRUNTIME_DIR/$__BUILD_TOOLS_PACKAGE_VERSION/init-tools.complete
  16
  17 if [ -e $__BUILD_TOOLS_SEMAPHORE ]; then
  18     echo "Tools are already initialized"
  19     return #return instead of exit because this script is inlined in other scripts which we don't want to exit
  20 fi
  21
  22 if [ -e $__TOOLRUNTIME_DIR ]; then rm -rf -- $__TOOLRUNTIME_DIR; fi
  23
  24 if [ -d "$DotNetBuildToolsDir" ]; then
  25     echo "Using tools from '$DotNetBuildToolsDir'."
  26     ln -s "$DotNetBuildToolsDir" "$__TOOLRUNTIME_DIR"
  27
  28     if [ ! -e "$__DOTNET_CMD" ]; then
  29         echo "ERROR: Ensure that $DotNetBuildToolsDir contains the .NET Core SDK at $__DOTNET_PATH"
  30         exit 1
  31     fi
  32
  33     echo "Done initializing tools."
  34     mkdir -p "$(dirname "$__BUILD_TOOLS_SEMAPHORE")" && touch $__BUILD_TOOLS_SEMAPHORE
  35     return #return instead of exit because this script is inlined in other scripts which we don't want to exit
  36 fi
  37
  38 echo "Running: $__scriptpath/init-tools.sh" > $__init_tools_log
  39
  40 display_error_message()
  41 {
  42     echo "Please check the detailed log that follows." 1>&2
  43     cat "$__init_tools_log" 1>&2
  44 }
  45
  46 # Executes a command and retries if it fails.
  47 execute_with_retry() {
  48     local count=0
  49     local retries=${retries:-5}
  50     local waitFactor=${waitFactor:-6}
  51     until "$@"; do
  52         local exit=$?
  53         count=$(( $count + 1 ))
  54         if [ $count -lt $retries ]; then
  55             local wait=$(( waitFactor ** (( count - 1 )) ))
  56             echo "Retry $count/$retries exited $exit, retrying in $wait seconds..."
  57             sleep $wait
  58         else
  59             say_err "Retry $count/$retries exited $exit, no more retries left."
  60             return $exit
  61         fi
  62     done
  63
  64     return 0
  65 }
  66
  67 if [ ! -e $__DOTNET_PATH ]; then
  68     if [ -z "$__DOTNET_PKG" ]; then
  69         if [ "$(uname -m | grep "i[3456]86")" = "i686" ]; then
  70             echo "Warning: build not supported on 32 bit Unix"
  71         fi
  72
  73         __PKG_ARCH=x64
  74
  75         OSName=$(uname -s)
  76         case $OSName in
  77             Darwin)
  78                 OS=OSX
  79                 __PKG_RID=osx
  80                 ulimit -n 2048
  81                 # Format x.y.z as single integer with three digits for each part
  82                 VERSION=`sw_vers -productVersion| sed -e 's/\./ /g' | xargs printf "%03d%03d%03d"`
  83                 if [ "$VERSION" -lt 010012000 ]; then
  84                     echo error: macOS version `sw_vers -productVersion` is too old. 10.12 is needed as minimum.
  85                     exit 1
  86                 fi
  87                 ;;
  88
  89             Linux)
  90                 __PKG_RID=linux
  91                 OS=Linux
  92
  93                 if [ -e /etc/os-release ]; then
  94                     source /etc/os-release
  95                     if [[ $ID == "alpine" ]]; then
  96                         # remove the last version digit
  97                         VERSION_ID=${VERSION_ID%.*}
  98                     __PKG_RID=alpine.$VERSION_ID
  99                     fi
 100                 elif [ -e /etc/redhat-release ]; then
 101                     redhatRelease=$(</etc/redhat-release)
 102                     if [[ $redhatRelease == "CentOS release 6."* || $redhatRelease == "Red Hat Enterprise Linux Server release 6."* ]]; then
 103                     __PKG_RID=rhel.6
 104                     fi
 105                 fi
 106
 107                 ;;
 108
 109             *)
 110             echo "Unsupported OS '$OSName' detected. Downloading linux-$__PKG_ARCH tools."
 111                 OS=Linux
 112                 __PKG_RID=linux
 113                 ;;
 114       esac
 115     __DOTNET_PKG=dotnet-sdk-${__DOTNET_TOOLS_VERSION}-$__PKG_RID-$__PKG_ARCH
 116     fi
 117     mkdir -p "$__DOTNET_PATH"
 118
 119     echo "Installing dotnet cli..."
 120     __DOTNET_LOCATION="https://dotnetcli.azureedge.net/dotnet/Sdk/${__DOTNET_TOOLS_VERSION}/${__DOTNET_PKG}.tar.gz"
 121
 122     install_dotnet_cli() {
 123         echo "Installing '${__DOTNET_LOCATION}' to '$__DOTNET_PATH/dotnet.tar'" >> "$__init_tools_log"
 124         rm -rf -- "$__DOTNET_PATH/*"
 125         # curl has HTTPS CA trust-issues less often than wget, so lets try that first.
 126         if command -v curl > /dev/null; then
 127             curl --retry 10 -sSL --create-dirs -o $__DOTNET_PATH/dotnet.tar ${__DOTNET_LOCATION}
 128         else
 129             wget -q -O $__DOTNET_PATH/dotnet.tar ${__DOTNET_LOCATION}
 130         fi
 131         cd $__DOTNET_PATH
 132         tar -xf $__DOTNET_PATH/dotnet.tar
 133     }
 134     execute_with_retry install_dotnet_cli >> "$__init_tools_log" 2>&1
 135
 136     cd $__scriptpath
 137 fi
 138
 139 if [ ! -e $__BUILD_TOOLS_PATH ]; then
 140     echo "Restoring BuildTools version $__BUILD_TOOLS_PACKAGE_VERSION..."
 141     echo "Running: $__DOTNET_CMD restore \"$__INIT_TOOLS_RESTORE_PROJECT\" --no-cache --packages $__PACKAGES_DIR --source $__BUILDTOOLS_SOURCE /p:BuildToolsPackageVersion=$__BUILD_TOOLS_PACKAGE_VERSION" >> $__init_tools_log
 142     $__DOTNET_CMD restore "$__INIT_TOOLS_RESTORE_PROJECT" --no-cache --packages $__PACKAGES_DIR --source $__BUILDTOOLS_SOURCE /p:BuildToolsPackageVersion=$__BUILD_TOOLS_PACKAGE_VERSION >> $__init_tools_log
 143     if [ ! -e "$__BUILD_TOOLS_PATH/init-tools.sh" ]; then
 144         echo "ERROR: Could not restore build tools correctly." 1>&2
 145         display_error_message
 146     fi
 147 fi
 148
 149 echo "Initializing BuildTools..."
 150 echo "Running: $__BUILD_TOOLS_PATH/init-tools.sh $__scriptpath $__DOTNET_CMD $__TOOLRUNTIME_DIR" >> $__init_tools_log
 151
 152 # Executables restored with .NET Core 2.0 do not have executable permission flags. https://github.com/NuGet/Home/issues/4424
 153 chmod +x $__BUILD_TOOLS_PATH/init-tools.sh
 154 $__BUILD_TOOLS_PATH/init-tools.sh $__scriptpath $__DOTNET_CMD $__TOOLRUNTIME_DIR >> $__init_tools_log
 155 if [ "$?" != "0" ]; then
 156     echo "ERROR: An error occurred when trying to initialize the tools." 1>&2
 157     display_error_message
 158     exit 1
 159 fi
 160
 161 echo "Making all .sh files executable under Tools."
 162 # Executables restored with .NET Core 2.0 do not have executable permission flags. https://github.com/NuGet/Home/issues/4424
 163 ls $__scriptpath/Tools/*.sh | xargs chmod +x
 164 ls $__scriptpath/Tools/scripts/docker/*.sh | xargs chmod +x
 165
 166 Tools/crossgen.sh $__scriptpath/Tools
 167
 168 mkdir -p "$(dirname "$__BUILD_TOOLS_SEMAPHORE")" && touch $__BUILD_TOOLS_SEMAPHORE
 169
 170 echo "Done initializing tools."
 171