Xây dựng từ nguồn trên Windows, Xây dựng từ nguồn trên Windows

Xây dựng gói pip TensorFlow từ nguồn và cài đặt nó trên Windows.

Thiết lập cho Windows

Cài đặt các công cụ xây dựng sau để định cấu hình môi trường phát triển Windows của bạn.

Cài đặt Python và các phần phụ thuộc của gói TensorFlow

Cài đặt bản phát hành Python 3.9 64-bit cho Windows . Chọn pip làm tính năng tùy chọn và thêm nó vào biến môi trường %PATH% của bạn.

Cài đặt các phụ thuộc của gói pip TensorFlow:

pip3 install -U pip
pip3 install -U six numpy wheel packaging
pip3 install -U keras_preprocessing --no-deps

Các phần phụ thuộc được liệt kê trong tệp setup.py bên dưới REQUIRED_PACKAGES .

Cài đặt Bazel

Cài đặt Bazel , công cụ xây dựng được sử dụng để biên dịch TensorFlow. Đối với phiên bản Bazel, hãy xem cấu hình bản dựng đã thử nghiệm dành cho Windows. Định cấu hình Bazel để xây dựng C .

Thêm vị trí của tệp thực thi Bazel vào biến môi trường %PATH% của bạn.

Cài đặt MSYS2

Cài đặt MSYS2 cho các công cụ bin cần thiết để xây dựng TensorFlow. Nếu MSYS2 được cài đặt vào C:\msys64 , hãy thêm C:\msys64\usr\bin vào biến môi trường %PATH% của bạn. Sau đó, sử dụng cmd.exe , chạy:

pacman -Syu (requires a console restart)
pacman -S git patch unzip
pacman -S git patch unzip rsync

Cài đặt Công cụ xây dựng Visual C 2022

Cài đặt công cụ xây dựng Visual C 2022 . Điều này đi kèm với Visual Studio Community 2022 nhưng có thể được cài đặt riêng:

1. Đi tới phần tải xuống Visual Studio ,
2. Chọn Tools for Visual Studio hoặc Other Tools, Framework và Redistributables ,
3. Tải xuống và cài đặt:
   • Xây dựng công cụ cho Visual Studio 2022
   • Bản phân phối lại Microsoft Visual C cho Visual Studio 2022

Cài đặt LLVM

1. Đi tới phần tải xuống LLVM ,
2. Tải xuống và cài đặt LLVM tương thích với Windows trong C:/Program Files/LLVM, ví dụ: LLVM-17.0.6-win64.exe

Cài đặt hỗ trợ GPU (tùy chọn)

Xem hướng dẫn hỗ trợ GPU của Windows để cài đặt trình điều khiển và phần mềm bổ sung cần thiết để chạy TensorFlow trên GPU.

Tải xuống mã nguồn TensorFlow

Sử dụng Git để sao chép kho lưu trữ TensorFlow ( git được cài đặt cùng với MSYS2):

git clone https://github.com/tensorflow/tensorflow.git
cd tensorflow

Repo mặc định là nhánh phát triển master . Bạn cũng có thể kiểm tra một nhánh phát hành để xây dựng:

git checkout branch_name  # r1.9, r1.10, etc.

Tùy chọn: Thiết lập biến môi trường

Chạy các lệnh sau trước khi chạy lệnh xây dựng để tránh các vấn đề khi tạo gói: (Nếu các lệnh bên dưới được thiết lập trong khi cài đặt gói, vui lòng bỏ qua chúng). Chạy set để kiểm tra xem tất cả các đường dẫn đã được đặt chính xác chưa, chạy echo %Environmental Variable% ví dụ: echo �ZEL_VC% để kiểm tra đường dẫn được thiết lập cho một Biến môi trường cụ thể

Đường dẫn Python thiết lập vấn đề tensorflow:issue#59943 , tensorflow:issue#9436 , tensorflow:issue#60083

set PATH=path/to/python;%PATH% # [e.g. (C:/Python311)]
set PATH=path/to/python/Scripts;%PATH% # [e.g. (C:/Python311/Scripts)] 
set PYTHON_BIN_PATH=path/to/python_virtualenv/Scripts/python.exe 
set PYTHON_LIB_PATH=path/to/python virtualenv/lib/site-packages 
set PYTHON_DIRECTORY=path/to/python_virtualenv/Scripts 

Đường dẫn Bazel/MSVC/CLANG thiết lập vấn đề tensorflow:issue#54578

set BAZEL_SH=C:/msys64/usr/bin/bash.exe 
set BAZEL_VS=C:/Program Files/Microsoft Visual Studio/2022/BuildTools 
set BAZEL_VC=C:/Program Files/Microsoft Visual Studio/2022/BuildTools/VC 
set Bazel_LLVM=C:/Program Files/LLVM (explicitly tell Bazel where LLVM is installed by BAZEL_LLVM, needed while using CLANG)
set PATH=C:/Program Files/LLVM/bin;%PATH% (Optional, needed while using CLANG as Compiler)

Tùy chọn: Định cấu hình bản dựng

Các bản dựng TensorFlow được cấu hình bởi tệp .bazelrc trong thư mục gốc của kho lưu trữ. Các tập lệnh ./configure hoặc ./configure.py có thể được sử dụng để điều chỉnh các cài đặt chung.

Nếu bạn cần thay đổi cấu hình, hãy chạy tập lệnh ./configure từ thư mục gốc của kho lưu trữ.

python ./configure.py

Tập lệnh này sẽ nhắc bạn về vị trí của các phần phụ thuộc TensorFlow và yêu cầu các tùy chọn cấu hình bản dựng bổ sung (ví dụ: cờ trình biên dịch). Phần sau đây hiển thị mẫu chạy python ./configure.py (phiên của bạn có thể khác):

python ./configure.py
You have bazel 6.5.0 installed.
Please specify the location of python. [Default is C:\Python311\python.exe]:

Found possible Python library paths:
C:\Python311\lib\site-packages
Please input the desired Python library path to use.  Default is [C:\Python311\lib\site-packages]

Do you wish to build TensorFlow with ROCm support? [y/N]:
No ROCm support will be enabled for TensorFlow.

Warning: Cannot build with CUDA support on Windows.
Starting in TF 2.11, CUDA build is not supported for Windows. To use TensorFlow GPU on Windows, you will need to build/install TensorFlow in WSL2.

Do you want to use Clang to build TensorFlow? [Y/n]:
Add "--config=win_clang" to compile TensorFlow with CLANG.

Please specify the path to clang executable. [Default is C:\Program Files\LLVM\bin\clang.EXE]:

You have Clang 17.0.6 installed.

Please specify optimization flags to use during compilation when bazel option "--config=opt" is specified [Default is /arch:AVX]:

Would you like to override eigen strong inline for some C   compilation to reduce the compilation time? [Y/n]:
Eigen strong inline overridden.

Would you like to interactively configure ./WORKSPACE for Android builds? [y/N]:
Not configuring the WORKSPACE for Android builds.

Preconfigured Bazel build configs. You can use any of the below by adding "--config=<>" to your build command. See .bazelrc for more details.
        --config=mkl            # Build with MKL support.
        --config=mkl_aarch64    # Build with oneDNN and Compute Library for the Arm Architecture (ACL).
        --config=monolithic     # Config for mostly static monolithic build.
        --config=numa           # Build with NUMA support.
        --config=dynamic_kernels        # (Experimental) Build kernels into separate shared objects.
        --config=v1             # Build with TensorFlow 1 API instead of TF 2 API.
Preconfigured Bazel build configs to DISABLE default on features:
        --config=nogcp          # Disable GCP support.
        --config=nonccl         # Disable NVIDIA NCCL support.

Xây dựng và cài đặt gói pip

Gói pip được xây dựng theo hai bước. Lệnh bazel build sẽ tạo chương trình "trình tạo gói". Sau đó, bạn chạy trình xây dựng gói để tạo gói.

Xây dựng trình xây dựng gói

tensorflow:master repo đã được cập nhật lên build 2.x theo mặc định. Cài đặt Bazel và sử dụng bazel build để tạo trình tạo gói TensorFlow.

bazel build //tensorflow/tools/pip_package:wheel

chỉ dành cho CPU

Sử dụng bazel để tạo trình tạo gói TensorFlow chỉ hỗ trợ CPU:

Xây dựng với MSVC

bazel build --config=opt --repo_env=TF_PYTHON_VERSION=3.11 //tensorflow/tools/pip_package:wheel --repo_env=WHEEL_NAME=tensorflow_cpu

Xây dựng với CLANG

Sử dụng --config= win_clang để xây dựng TenorFlow bằng Trình biên dịch CLANG:

bazel build --config=win_clang --repo_env=TF_PYTHON_VERSION=3.11 //tensorflow/tools/pip_package:wheel --repo_env=WHEEL_NAME=tensorflow_cpu

hỗ trợ GPU

Để tạo trình tạo gói TensorFlow có hỗ trợ GPU:

bazel build --config=opt --config=cuda --define=no_tensorflow_py_deps=true //tensorflow/tools/pip_package:build_pip_package

Các lệnh xóa bộ đệm bazel để giải quyết lỗi do dữ liệu được lưu trong bộ nhớ đệm không hợp lệ hoặc lỗi thời, làm sạch bazel bằng cờ --expunge sẽ xóa tệp vĩnh viễn

bazel clean 
bazel clean --expunge  

Tùy chọn xây dựng Bazel

Sử dụng tùy chọn này khi xây dựng để tránh các sự cố khi tạo gói: tensorflow:issue#22390

--define=no_tensorflow_py_deps=true

Xem tham chiếu dòng lệnh Bazel để biết các tùy chọn xây dựng .

Xây dựng TensorFlow từ nguồn có thể sử dụng nhiều RAM. Nếu hệ thống của bạn bị hạn chế về bộ nhớ, hãy giới hạn mức sử dụng RAM của Bazel bằng: --local_ram_resources=2048 .

Nếu xây dựng có hỗ trợ GPU, hãy thêm --copt=-nvcc_options=disable-warnings để chặn các thông báo cảnh báo nvcc.

Xây dựng gói

Để xây dựng gói pip, bạn cần chỉ định cờ --repo_env=WHEEL_NAME. Tùy thuộc vào tên được cung cấp, gói sẽ được tạo. Ví dụ:

Để xây dựng gói CPU tensorflow:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=WHEEL_NAME=tensorflow_cpu

Để xây dựng gói hàng đêm, hãy đặt tf_nightly thay vì tensorflow , ví dụ: để xây dựng gói CPU hàng đêm:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=WHEEL_NAME=tf_nightly_cpu

Kết quả là, bánh xe được tạo ra sẽ được đặt ở

bazel-bin/tensorflow/tools/pip_package/wheel_house/

Cài đặt gói

Tên tệp của tệp .whl được tạo tùy thuộc vào phiên bản TensorFlow và nền tảng của bạn. Sử dụng pip install để cài đặt gói, ví dụ:

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

Xây dựng bằng cách sử dụng trình bao MSYS

TensorFlow cũng có thể được xây dựng bằng shell MSYS. Thực hiện các thay đổi được liệt kê bên dưới, sau đó làm theo các hướng dẫn trước đó cho dòng lệnh gốc của Windows ( cmd.exe ).

Tắt chuyển đổi đường dẫn MSYS

MSYS tự động chuyển đổi các đối số trông giống như đường dẫn Unix sang đường dẫn Windows và điều này không hoạt động với bazel . (Nhãn //path/to:bin được coi là đường dẫn tuyệt đối của Unix vì nó bắt đầu bằng dấu gạch chéo.)

export MSYS_NO_PATHCONV=1
export MSYS2_ARG_CONV_EXCL="*"

Đặt ĐƯỜNG của bạn

Thêm thư mục cài đặt Bazel và Python vào biến môi trường $PATH của bạn. Nếu Bazel được cài đặt vào C:\tools\bazel.exe và Python thành C:\Python\python.exe , hãy đặt PATH của bạn bằng:

# Use Unix-style with ':' as separator
export PATH="/c/tools:$PATH"
export PATH="/c/path/to/Python:$PATH"

Để được hỗ trợ GPU, hãy thêm thư mục bin CUDA và cuDNN vào $PATH :

export PATH="/c/Program Files/NVIDIA GPU Computing Toolkit/CUDA/v11.0/bin:$PATH"
export PATH="/c/Program Files/NVIDIA GPU Computing Toolkit/CUDA/v11.0/extras/CUPTI/libx64:$PATH"
export PATH="/c/tools/cuda/bin:$PATH"

Cấu hình bản dựng đã được thử nghiệm

CPU

GPU