tools/internal_ci/linux/grpc_distribtests_python.sh

   1 #!/bin/bash
   2 # Copyright 2021 The gRPC Authors
   3 #
   4 # Licensed under the Apache License, Version 2.0 (the "License");
   5 # you may not use this file except in compliance with the License.
   6 # You may obtain a copy of the License at
   7 #
   8 #     http://www.apache.org/licenses/LICENSE-2.0
   9 #
  10 # Unless required by applicable law or agreed to in writing, software
  11 # distributed under the License is distributed on an "AS IS" BASIS,
  12 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13 # See the License for the specific language governing permissions and
  14 # limitations under the License.
  15
  16 set -ex
  17
  18 # change to grpc repo root
  19 cd $(dirname $0)/../../..
  20
  21 source tools/internal_ci/helper_scripts/prepare_build_linux_rc
  22
  23 # some distribtests use a pre-registered binfmt_misc hook
  24 # to automatically execute foreign binaries (such as aarch64)
  25 # under qemu emulator.
  26 source tools/internal_ci/helper_scripts/prepare_qemu_rc
  27
  28 # Build all python linux artifacts (this step actually builds all the binary wheels and source archives)
  29 tools/run_tests/task_runner.py -f artifact linux python -j 6 -x build_artifacts/sponge_log.xml || FAILED="true"
  30
  31 # the next step expects to find the artifacts from the previous step in the "input_artifacts" folder.
  32 rm -rf input_artifacts
  33 mkdir -p input_artifacts
  34 cp -r artifacts/* input_artifacts/ || true
  35 rm -rf artifacts_from_build_artifacts_step
  36 mv artifacts artifacts_from_build_artifacts_step || true
  37
  38 # This step only copies artifacts from input_artifacts
  39 tools/run_tests/task_runner.py -f package linux python -x build_packages/sponge_log.xml || FAILED="true"
  40
  41 # the next step expects to find the artifacts from the previous step in the "input_artifacts" folder.
  42 # in addition to that, preserve the contents of "artifacts" directory since we want kokoro
  43 # to upload its contents as job output artifacts
  44 rm -rf input_artifacts
  45 mkdir -p input_artifacts
  46 cp -r artifacts/* input_artifacts/ || true
  47
  48 # Run all python linux distribtests
  49 # We run the distribtests even if some of the artifacts have failed to build, since that gives
  50 # a better signal about which distribtest are affected by the currently broken artifact builds.
  51 tools/run_tests/task_runner.py -f distribtest linux python -j 6 -x distribtests/sponge_log.xml || FAILED="true"
  52
  53 if [ "$FAILED" != "" ]
  54 then
  55   exit 1
  56 fi