Transformers documentation
Công cụ tiện ích cho pipelines
Công cụ tiện ích cho pipelines
Trang này liệt kê tất cả các hàm tiện ích mà thư viện cung cấp cho pipelines.
Phần lớn những điều đó chỉ hữu ích nếu bạn đang nghiên cứu mã nguồn của các mô hình trong thư viện.
Xử lý đối số
Giao diện cơ bản để xử lý các đối số cho mỗi Pipeline.
Xử lý các đối số cho zero-shot trong phân loại văn bản bằng cách biến mỗi nhãn có thể thành một cặp premise/hypothesis cho NLI.
Định dạng dữ liệu
lớp transformers.PipelineDataFormat
< source >( output_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite: bool = False )
Lớp cơ sở cho tất cả các định dạng dữ liệu được pipeline hỗ trợ, cả khi đọc và ghi. Các định dạng dữ liệu được hỗ trợ hiện tại bao gồm:
- JSON
- CSV
- stdin/stdout (ống dẫn)
PipelineDataFormat cũng bao gồm một số tiện ích để làm việc với nhiều cột, chẳng hạn như ánh xạ từ các cột của datasets sang các tham số keyword của pipelines thông qua định dạng dataset_kwarg_1=dataset_column_1.
from_str
< source >( format: stroutput_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite = False ) → PipelineDataFormat
Tham số
- format (
str) — Định dạng của pipeline mong muốn. Các giá trị chấp nhận được là"json","csv"hoặc"pipe". - output_path (
str, tùy chọn) — Nơi lưu trữ dữ liệu đầu ra. - input_path (
str, tùy chọn) — Nơi tìm dữ liệu đầu vào. - column (
str, tùy chọn) — Cột cần đọc. - overwrite (
bool, tùy chọn, mặc định làFalse) — Có ghi đè lênoutput_pathhay không.
Trả về
Định dạng dữ liệu phù hợp.
Tạo một instance của subclass đúng của PipelineDataFormat tùy thuộc vào format.
lưu
< source >( data: dict | list[dict] )
Lưu đối tượng dữ liệu được cung cấp với biểu diễn cho PipelineDataFormat hiện tại.
save_binary
< source >( data: dict | list[dict] ) → str
Lưu đối tượng dữ liệu được cung cấp dưới dạng dữ liệu nhị phân định dạng pickle trên đĩa.
lớp transformers.CsvPipelineDataFormat
< source >( output_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite = False )
Hỗ trợ cho các pipeline sử dụng định dạng dữ liệu CSV.
Lưu đối tượng dữ liệu được cung cấp với biểu diễn cho PipelineDataFormat hiện tại.
lớp transformers.JsonPipelineDataFormat
< source >( output_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite = False )
Hỗ trợ cho các pipeline sử dụng định dạng tệp JSON.
Lưu đối tượng dữ liệu được cung cấp vào một tệp json.
lớp transformers.PipedPipelineDataFormat
< source >( output_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite: bool = False )
Đọc dữ liệu từ đầu vào dạng ống (piped input) đến tiến trình python. Đối với dữ liệu nhiều cột, các cột nên được phân tách bằng
Nếu các cột được cung cấp, thì đầu ra sẽ là một từ điển có dạng {column_x: value_x}
In dữ liệu.
Công cụ tiện ích
lớp transformers.pipelines.PipelineException
< source >( task: strmodel: strreason: str )
Được Pipeline phát sinh khi xử lý call.