AttributeError: 'NllbTokenizerFast' object has no attribute 'lang_code_to_id'

며칠 전까지 잘 작동하던 코드가 갑자기 오류를 뱉는 현상을 본 적이 있습니까?

일어날 수 있으니 각오해십시오

 

 

 

NLLB로 번역 해보는 실습에서 AutoTokenizer로 tokenizer을 만들어서 해보려는데 며칠 전까지 분명 결과가 잘 나오던 기억이 있는데 갑자기 안 됐다

transformers의 최신 버전(4.38 이후)에서는 lang_code_to_id를 제공하지 않기 때문에 

 

!pip install transformers==4.37.0

 

(4.37.1, 4.37.2 혹은 그 아래 원하는 버전으로..)

pip install transformers만 하면 오류 날 테니 그 이하 버전으로 직접 설정해서 깔아 주면 해당 에러는 사라집니다 😮