b__ono__ng

여러 이유로,, Detection 모델로 D-Fine 모델을 학습하고 있다.D-Fine 모델은 이 사람이 추천해주셔서 쓰고 있다. 성능은 좋아보인다. 이 사람 -> https://developer0hye.tistory.com/817 D-FINE 모델의 Backbone Network은 무엇일까?https://github.com/Peterande/D-FINE GitHub - Peterande/D-FINE: D-FINE: Redefine Regression Task of DETRs as Fine-grained Distribution Refinement 💥💥💥D-FINE: Redefine Regression Task of DETRs as Fine-grained Distribution Refinement ..

결론부터,, mlflow.run() 함수에서 train 코드를 감싸면서 로그나 아티팩트를 뱉고 있었다면, 그것때문에 그런다. train 함수 빼고는 지워도 된다.Ultralytics를 MLflow와 결합해서 쓰고 있다. 그런데 자꾸만 실험 (Experiment)이나 run?이 두 개로 분리된다. 로그도 나뉜다.mlflow.run() 함수로 train 코드를 감싸고 로그와 아티팩트를 뱉고 있었는데, 집에선 잘 되던게 회사에서 할 때는 안 된다.확인해보니 Multi-GPU를 쓰면 그렇게 된다.이유는,, 일반적으로 train.py 함수를 실행하면서 특정 run_id를 실행했었다면, Multi-GPU를 쓸 때 분산처리를 위한 코드가 한 번 더 돌면서 train.py와 서로 다른 run_id를 갖게된다. 그래서 ..

MLflow Experiment를 삭제했더니, 이런 오류가 뜬다.mlflow.exceptions.MlflowException: Cannot set a deleted experiment '/Shared/Ultralytics' as the active experiment. You can restore the experiment, or permanently delete the experiment to create a new one.삭제한 Experiment에 접근하려고 했다는뜻이다.1. 다른 experiment로 지정하기 -> 안됨mlflow.set_experiment("Another Experiment")2. mlruns\0\meta.yaml 에 있는 experiment-id를 삭제 -> 안됨cmd> mlf..

MLOps에 사용되는 툴을 비교했다.다만 직접 써본건 아니고, 잠깐의 서치로 찾은 정보라서 정확하지 않을 수도 있다.1. W&B (WanDB, Weights&Biases)장점외부 서버 사용모델 성능 시각화 가능협업에 효율적단점유료 서비스데이터셋보다 모델에 초점이 맞춰짐2. ClearML장점무료 서비스 사용 가능 (Plan 별 제공하는 서비스 상이)참고 자료 많음단점서버 관리 필요3. Delta Lake장점무료 서비스?단점제공하는 기능의 정확한 범위 판단 어려움Orchestration에 집중되어 보임파이프라이닝 구조가 어려움이미지 데이터셋은 적합 X?4. MLflow장점무료 서비스참고 자료 많음단점서버 관리 필요나는 이미지쪽 AI를 다루고 있고, MLflow를 선택했다. ClearML도 좋아보이는데, 일단..

데이터 버전 관리에 사용되는 툴을 비교했다.다만 직접 써본건 아니고, 잠깐의 서치로 찾은 정보라서 정확하지 않을 수도 있다.1. DVC (Data Version Control), Recommend: 데이터의 메타데이터를 생성해서 Git 레포지토리로 버전 관리하는 툴장점사용하기 쉬움 (Git과 같은 형태)참고 자료 많음무료 서비스단점대용량 데이터를 pull할 때 오래 걸림데이터 시각화 지원 X2. Pachyderm: 데이터 버저닝에 특화된 툴장점직관적인 데이터 버전 관리단점유료 서비스참고 자료 적음담당 데이터 매니저 필요할 듯3. LakeFS: DB 서버에서 데이터셋 관리하는 툴장점무료 서비스참고 자료 많음단점서버 형식으로, DB 서버 관리 필요담당 데이터 매니저 필요할 듯이미지 데이터셋은 적합 X?4. ..