좋은영향을주는사람

Mac mini m4pro 깡통환경 DeepSeek-r1 AI 모델 구동 해보기

■ 구동 환경모델명 : m4pro mac mini 깡통CPU : 12 Core ( 성능 8코어, 효율 4코어 )GPU : 16 CoreRAM : 24G ■ 질문사람이 늑대, 염소, 양배추를 배에 싣고 강을 건너려고 한다.배에는 사람 외에 단 한 가지만 더 실을 수 있다.그런데 염소와 늑대만을 남겨두면 늑대가 염소를 잡아먹고,염소와 양배추만을 남겨두면 염소가 양배추를 다 먹어버린다.모든 것을 안전하게 옮기려면 최소 몇 번 강을 건너야 할까? ■ DeepSeek 14b ( 140억 파라미터 모델 ) 우선 시도모델용량 : 9G결과 : 메모리에 여유가 있고 아주 부드럽게 동작한다.          다만, 이 모델로는 정답을 맞출 정도의 능력이 되지는 못하는듯 하다. ■ DeepSeek 32b ( 320억 파라미..

■ 구동 환경모델명 : m2 mac mini 깡통CPU : 8 Core ( 성능 4코어, 효율 4코어 )GPU : 10 CoreRAM : 16G (기본모델에서 메모리만 추가)사양이 참으로 겸손하다 ^^; ■ 모델llama3.2-vison 11b 모델 ( 용량 7.9G ) ■ 구동결과m2 CPU 최저 사양인데도 불구하고상당히 만족스러운 성능으로 결과를 출력해 준다.asitop으로 본 각종 그래프도 안정적이다.  ■ 결론Ollama가 Apple Silicon m2 mac mini 깡통급 모델에서도llama3.2 11b모델이 잘 돌아가고결과가 안정적이고 꽤나 빠르게 출력되는걸 확인 할수 있다. ^^다만, 8G 메모리를 가진 완전 깡통에서는 구동이 어려울 것으로 예상된다.애플이 m4 급에서는 메모리를 최소 16..

■ 구동 환경*모델명 : 맥북프로 2019 16인치 CTO *CPU : intel i9 8 Core ( 16 Thread )*RAM : 32GB *SSD : 1TB *듀얼그래픽 : AMD Radeon Pro 5500M 8G                       Intel UHD Graphics 630 한때는 엄청난 고사양에 고가였다. ^^; ■ 모델llama3.2-vison 11b 모델 ( 용량 7.9G ) ■ 구동결과구동해본 결과 약간 느리게 결과가 나왔지만많이 느리지는 않고 무난하게 질문에 대한 결과가 출력되었다.다만, 듀얼 그래픽이 내장되어 있으나 사용되지 않고오직 CPU의 연산능력으로만 결과가 출력이 되는걸 확인할수 있었다.  ■ 결론Ollama가 Apple Silicon 및 Intel을 모두 ..

■ tensorflow-test 설치 오류 $ pip install tensorflow-text ERROR: Could not find a version that satisfies the requirement tensorflow_text (from versions: none) ERROR: No matching distribution found for tensorflow_text ■ macOS 환경 mac mini m2 깡통(8Core CPU + 10Core GPU) + 16G RAM macOS Sonoma 14.3.1 Anaconda v2023.09-0 (Python 패키지 관리) Python v3.11 Tensorflow-macos v2.15.0 Tensorflow-metal v1.1.0 * 참고로 현..

■ Mac mini 설치환경mac mini m2 깡통(8Core CPU=>[성능4+효율4] + 10Core GPU) + 16G RAM macOS Sonoma 14.3.1Anaconda v2023.09-0 (Python 패키지 관리)Python v3.11Tensorflow-macos v2.15.0Tensorflow-metal v1.1.0 ■ Nvidia GPU 설치환경GPU : GTX-1050 2GBCPU : Intel i5-8500 (6Core) DesktopUbuntu Desktop 22.04 LTSNVidia Driver v535 (2024-03-04 현재 최신)CUDA x86_64 v11.8 (v12.2 호환 불가)cuDNN v8.6.0.163 (v8.9.7 호환 불가) Anaconda v2023...

■ 기본 설치환경mac mini m2 깡통(8Core CPU + 10Core GPU) + 16G RAM macOS Sonoma 14.3.1Anaconda v2023.09-0 (Python 패키지 관리)Python v3.11Tensorflow-macos v2.15.0Tensorflow-metal v1.1.0 ■ 설치후 결론- Linux 환경에서 CUDA 설치가 까다로운데 비해 macOS Metal 기반 Tensorflow는 설치가 아주 쉬웠다. ( pip로 간단하게 설치 완료) ■ 설치 방법 Anaconda VM 환경 추가 ( Python v3.11 기반 )$ conda create -n tf-mac-metal python=3.11 Anaconda 생성한 환경으로 전환 (24-03-05 현재 v1.1.0이..

■ 기본 설치환경 GPU : GTX-1050 Ubuntu Desktop 22.04 LTS NVidia Driver v535 (2024-03-04 현재 최신) CUDA x86_64 v11.8 (v12.2 호환 불가) cuDNN v8.6.0.163 (v8.9.7 호환 불가) * 주의 : Ubuntu Server 22.04 LTS에서는 설치가 되지 않았다. Linux X-Window의 어떤 패키지 의존성 요소가 필요한 걸로 보인다. ㅜㅠ * 교육용이나 학습목적으로 동일한 환경에서 GTX-1050를 빼고 GTX-750 ti 설치하여 보니 이 역시도 인식하지 못한다. CUDA 사용을 위해서는 어느 등급 이상의 그래픽카드가 필요한 것으로보인다. ^^;;; 2024-03-14 11:13:49.405327: W ten..

Google Teachable Machine 사이트에서 Training 및 Model Export 기능을 사용하여안드로이드 앱으로 샘플앱을 구현하였다. 근데 문제는 2022-07-11날에 확인해 보니Tensorflow 및 Tensorflow Lite 모델로 익스포트 하는 메뉴가 사라졌다. ㅜㅠ무료에 오픈소스라 뭐라 할수도 없는 상황이다. ㅜㅠ  2022년 6월 22일 확인 (Tensorflow , Tensorflow Lite 모델 익스포트 메뉴가 확인된다.) 다른 모델을 학습 시키고 결과를 익스포트 하려고 보니 해당 기능이 사라졌다. 허걱~ ㅜㅠ2022-07-11 확인이런 유용한 기능을 무료로 제공해주어 감사하다만어떠한 공지도 없이 갑자기 사라져 너무나 당활스러웠다. 안드로이드나 iOS 로 관련 앱 개발..