[ Microsoft, AI 반도체 내재화 발표할 줄 알았는데 데이터센터 내재화 발표 ]

[ Microsoft, AI 반도체 내재화 발표할 줄 알았는데 데이터센터 내재화 발표 ]

- 안녕하세요! 결국 마이크로소프트가 자체 반도체를 발표했습니다!

- AI 가속기 뿐만 아니라 CPU도 발표하였고 출시 시기도 내년 초로 빨랐습니다

- 이번에 발표한 것은 Maia 100 이라는 AI 가속기 + Cobalt 100 CPU 두 종류였습니다

(사실 3종류였습니다. DPU라는 네트워크 연산 전용 반도체도 발표했습니다)

> 최근 데이터 센터 반도체는 크게 CPU+GPU+AI가속기+DPU로 구성되는데

마이크로소프트가 사실상 GPU를 제외하면 데이터 센터에 필요한 모든 라인업을 내재화했다고 볼 수 있습니다

- 특히, 데이터 센터 GPU가 그래픽 연산보다는 AI연산이 더 많다는 것을 고려하면 마이크로소프트는 사실상 그래픽 작업을 제외한 거의 모든 주요 칩을 내재화 했습니다

> 이번에 발표된 모든 칩은 TSMC 5nm 공정 기반입니다

> 오늘 텔레그램으로는 간단하게만 코멘트하고 자세한 내용은 주말에 업데이트 드리겠습니다

Maia 100

- 결론만 이야기 하면 칩의 성능 자체는 H100과 유사했고 다른 빅테크들의 자체칩을 압도했습니다

- AI 반도체는 수많은 개수를 병렬 연결하기 때문에 AI 반도체 간 통신을 위한 네트워크 성능이 중요한데 네트워크 성능에서는 H100마저 능가했습니다

- 다만, Maia 100은 예상과 다르게 너무 낮은 HBM 대역폭으로 실제 성능에서는 MI300, H100 대비 뒤쳐질 것으로 보입니다

- 자사의 GPT 서비스들을 위해 설계한 것이고 GPT 특성상 HBM 부문에서 병목이 많은데 이해하기 어려운 부분이었습니다

- 가능한 가설은 Maia 100이 이미 GPT 성공 이전에 설계가 시작되어서일 가능성이 있습니다

- H100이 메모리 대역폭을 조정한 신제품이 나온 만큼 마이크로소프트도 그렇게 하거나 다음 제품에서는 설계 사상을 조정할 가능성이 높습니다

- 결론은 HBM 대역폭만 아니었으면 진짜루 H100을 능가하는 칩이 나왔을 것 같습니다. 가성비 측면에서는 Nvidia와 비교할 수 없기 때문에 Microsoft가 AI 반도체 경쟁에서 다음 제품에서는 상당한 위협이 될 것으로 보입니다

Cobalt 100 CPU

- ARM의 레퍼런스 디자인을 상당 부분 채택하여 설계한 것으로 보입니다

- 따라서 타사 대비 뛰어나진 않지만 뒤쳐지지도 않을 것으로 예상됩니다

- Amazon의 자체 CPU인 Graviton이 경쟁상대가 될 것으로 보이며 외부 판매도 하지만 실질적으로는 내부 클라우드 연산을 더 싸게 처리하는 용도일 가능성이 높아보입니다

200G DPU

- 오늘날 DPU는 네트워크나 스토리지에 필요한 연산들을 전문으로 해주는 반도체로 CPU의 부담을 덜어주는 목적입니다

- 사실 마이크로소프트는 DPU 기업을 인수하며 해당 준비를 해왔는데 이로써 데이터 센터에 필요한 대부분의 포트폴리오를 완성했습니다

완전히 새로운 랙과 수냉 시스템

- 칩을 모두 내재화한 마이크로소프트는 서버 틀에 해당하는 랙과 수냉 시스템도 자체 시스템에 맞게 완전히 새롭게 설계하였습니다

결론

- 사실상 클라우드, 데이터 센터에 필요한 주요 연산 반도체들을 그래픽용 GPU 빼고 전부 내재화

- 심지어 HBM 대역폭만 아니었으면 H100 보다도 제품이 좋았을 것

- 대역폭 때문에 당분간 Nvidia, AMD 사용하는게 낫지만 다음 제품은 무서울듯

- 마소는 냉각시스템, 서버 구조물까지 새롭게 디자인하며 사실상 애플처럼 하드웨어도 거의 다 내재화

- 1~2년 후가 정말 더 무서울 것 같은 마소

- 앞으로 이름을 마이크로소프트 & 마이크로하드웨어 라고 작명해도 무방할 포트폴리오