포트웰코리아, 최초의 PCI Express® 확장 카드, AI Accelerator PCIe Card

산업용시스템

포트웰코리아, 최초의 PCI Express® 확장 카드, AI Accelerator PCIe Card

포트웰코리아 2023. 4. 13. 08:00

안녕하십니까.

포트웰코리아에서 'AI Accelerator PCIe Card'를 소개합니다.

적은 에너지, 높은 효율성을 가진 AI Accelerator PCIe 카드는 AI 추론을 위한 여러 Coral Edge TPU를 가장자리에 장착한 최초의 PCI Express® 확장 카드입니다.

포트웰코리아_Portwellkorea_ AI Accelerator PCIe Card

1. 낮은 지연 시간을 갖는 병렬 ML 추론 동시에 여러 개의 AI 모델을 실행

여러 모델을 실행해야 하는 애플리케이션 시나리오에서는 각 모델을 특정한 Edge TPU에 할당하여 최대 성능을 위해 병렬로 실행할 수 있습니다.

여러 모델을 실행해야 하는 애플리케이션 시나리오에서 각 모델을 특정 Edge TPU에 할당하고 병렬로 실행하여 성능을 극대화할 수 있습니다.

2. 모델 파이프라인 기술로 ML 성능 향상

빠른 응답이나 대규모 모델 실행이 필요한 애플리케이션에서 파이프라인 기술을 사용하면 모델을 여러 개의 작은 모델로 분할할 수 있습니다.

분할 실행 : 작은 모델을 서로 다른 Edge TPU에서 실행합니다.

빠른 응답 : 고속 애플리케이션에서 처리량을 증가시킵니다.

지연 감소 : 대규모 모델의 전체 지연 시간을 최소화합니다.

3. 작은 데이터셋으로 ML 결과 극대화하기

Edge TPU는 주로 엣지에서 추론 작업을 수행하도록 설계되었습니다. 장치 내 학습을 통해 사전 훈련된 모델에서 API 기반 전이 학습을 실행하여 AI 가속기 PCIe 카드에서 직접 세부 조정된 모델을 얻을 수 있습니다.

모델 정확도 증가 : AI 가속기 PCIe 카드를 통해 엣지에서 전이 학습을 가능하게 함으로써, 모델 재훈련을 위해 서버/클라우드 상호작용이 필요하지 않습니다.

학습 시간 절약 : 200개 미만의 이미지를 사용하여 모델을 최적화함으로써, 처음부터 시작할 필요가 없습니다.

4. 적은 에너지로 더 많은 작업 수행하기

에너지 효율성을 고려하여 설계된 AI 가속기 PCIe 카드는 다중 Edge TPU를 사용하여 추론 가속을 달성하기 위해 우수한 열 안정성을 갖추고 있습니다.

낮은 전력 소비 : 36/52 W (8/16 Edge TPU). 외부 전원 공급장치 필요 없음 : 전원은 PCIe 슬롯에서 직접 공급됩니다.

5. 몇 분 만에 AI 애플리케이션 프로토타입 구현하기

짧은 시간 내에 AI 데모나 프로토타입을 구축해야 한다면 AI 가속기 PCIe 카드가 도움이 됩니다. Node-RED를 준수하는 Edge Inference Node for Coral Edge TPU*라는 AI 배포 빌더를 개발했습니다. 이 프로그래밍 도구는 Edge TPU 노드를 사용하여 흐름을 쉽게 연결할 수 있으며, 클릭 한 번으로 모든 것을 설정할 수 있습니다. 이렇게 함으로써 프로토타이핑 단계에서 번거로운 코딩 작업을 피할 수 있습니다.

직관적인 플랫폼 : 코딩이 필요 없는 그래픽 인터페이스를 갖춘 브라우저 기반 플랫폼. 사용이 쉬움 : ML 노드를 끌어다 놓고 연결하면 바로 배포할 수 있습니다. 데이터 시각화 : 아름다운 대시보드를 통해 AI 가속기 PCIe 카드의 사용 메트릭을 모니터링할 수 있습니다.

ML accelerator : Integrated with 8/16 Edge TPUs to achieve performance 32/64 TOPS

Interface : PCI Express® (PCIe®) 3.0 x16

Form factor : Full-height, half-length, double-slot width

Cooling : Active fan

Operating temperature : 0-55°C

Dimensions : 42.1 x 126.3 x 186.3 ( W x H x D mm)

Power consumption : 36 to 52 watts

Supported operating systems : Ubuntu 18.04, Debian 10 and Windows 10

1. TensorFlow Lite 컨버터 : TensorFlow 모델(.pb 파일 확장자를 갖는)을 TensorFlow Lite 모델(.tflite 파일 확장자를 갖는)로 변환합니다.

2. 컴파일러 : TensorFlow Lite 모델(.tflite 파일 확장자를 갖는)을 Edge TPU에서 실행할 수 있는 파일로 컴파일하는 명령줄 도구입니다.

3. 배포 : PyCoral API(Python)나 Libcoral API(C++)를 통해 AI 모델을 실행합니다.

ML 모델 요구사항

ML 프레임워크 지원 : TensorFlow Lite. 양자화 : Tensor 매개변수는 양자화(8비트 고정 소수점 수; int8)됩니다. 신경망 지원 : 합성곱 신경망(CNN). 모델 변환 : TensorFlow 모델을 TensorFlow Lite 모델로 TensorFlow 컨버터 도구를 통해 변환합니다.

특징