happy-llm

2026年02月26日 86 字大概 1 分钟

对数据集进行tikenize

# 原代码
def tokenize_function(examples):
    # 使用预先加载的 tokenizer 进行分词
    output = tokenizer([item for item in examples["text"]])
    return output

但是实际运行的时候会出现tokenizer not define，因此采用显示的引入

def tokenize_function(examples,tokenizer=tokenizer):
    # 使用预先加载的 tokenizer 进行分词
    output = tokenizer([item for item in examples["text"]])
    return output