무한클래스

1. Max-length : 256ubuntu@37882228675f:~/top/benchmark$ python3 run_benchmark.py --backend both --num-sentences 128 --max-len 256 ================================================== ==== CONFIG bs8 (CPU batch=8, NPU batch=8) ==== ================================================== === [CPU] bge-m3 벤치마크 시작 (config=bs8, batch=8) === [CPU][bs8] processed 8/128 (0.82s 경과) [CPU][bs8] processed 16/128 (..

1. num sentence : 128 ubuntu@37882228675f:~/top/benchmark$ python3 run_benchmark.py --backend both --num-sentences 128 --max-len 512 ================================================== ==== CONFIG bs8 (CPU batch=8, NPU batch=8) ==== ================================================== === [CPU] bge-m3 벤치마크 시작 (config=bs8, batch=8) === [CPU][bs8] processed 8/128 (1.03s 경과) [CPU][bs8] processed 16/12..

ubuntu@37882228675f:~/top/benchmark$ python3 run_benchmark.py --backend both --num-sentences 128 --max-len 512 ================================================== ==== CONFIG bs8 (CPU batch=8, NPU batch=8) ==== ================================================== === [CPU] bge-m3 벤치마크 시작 (config=bs8, batch=8) === [CPU][bs8] processed 8/128 (1.03s 경과) [CPU][bs8] processed 16/128 (1.94s 경과) [CPU][bs8..

* 모델 서빙 구축에서 NHN, 라벨리온과 한달간 삽질했다. 암호화키를 NHN or 라벨리온에서 만들어서 개별에게 할당하였기 때문에 내 소프트웨어 코드가 오픈될 위험이 있어 NHN 서버에는 코드를 올릴 수 없었고 AI 모델 서빙만 NHN 서버에 실행해야 했었는데 모델 서빙이 외부(내 솔루션 서버)로 전달되지 않았다. NHN에서 나에게 서버 설정 권한을 주지 않으니 문제 현상만 똑같이 반복하여 전달하고 나는 기다릴 수 밖에 없었는데 이야기를 들어보니 하나의 서버에서 여러명이 쓰다보니 NHN에서는 도커로 사용자별로 컨테이너를 만들었고 NHN 서버의 인바운드 포트를 열었지만 도커 포트를 열지 않아 결과적으로 내가 아무리 모델 서빙을 한다한들 외부로 이 값이 전달되지 않았다.다행히 과제 제출시작 기한 1주일 ..