HBM 개념 스터디

HBM 개념 스터디
작성: 버프 텔레그램 https://t.me/bufkr


ㅁ HBM 뭐길래?
1. CPU는 기존 전통 컴퓨팅에서 사용하던 연산 반도체
⇒ 소수의 강력한 일꾼=코어가 계산을 순차적으로 하나씩 수행함

2. 반면 GPU는 단어 뜻 그대로 Graphic, 그래픽을 구현하기 위해 수만개의 화소를 동시에 제어하기 위해 태어남
⇒ 엄청나게 많은 일꾼들이, 상대적으로 간단한 작업을, 동시다발로 수행해서 훨씬 빠르게 수행함

3. AI 시대가 오면서, GPU의 효율적인 계산 방식이 CPU 대비 훨씬 부각되게 됨

4. AI의 기본적인 원리는 엄청나게 많은 사례를 학습하고, 어떤 명령/질문에 맞을 확률이 높은 수많은 대답을 빠르게 계산해 보는 것임

ex) ChatGPT도 쉽게 말해서, 인간이 작성한 방대한 데이터를 학습한 후
이 질문에 대한 대답을 어떤식으로 구성하면 답에 가까울 확률이 높을까?
이 단어 다음엔 어떤 단어를 쓰는 것이 확률적으로 더 좋은 답일까?
⇒ 이런 미친듯이 많은 경우의수를 빠르게 동시 계산하는 방식

5. 즉, AI는 엄청난 수의 간단한 확률 계산을 동시에 최대한 많이 계산해주는 GPU와 찰떡인 것임

6. 그런데 GPU를 많이 사용하면서, 기존 메모리의 데이터 저장/처리 방식이 병목으로 부각됨
= GPU가 동시에 미친듯이 많이 계산하면 뭐함? 저장장치인 메모리가 그 속도로 데이터 이동을 못시켜주는데?

7. 기존 디램은 CPU를 돕는데 적합한 방식이라, 1) 데이터 입출력에 필요한 핀 수가 작아 대역폭이 작고, 2) 용량도 단위 면적당 낮은 편이기 때문

8. 여기서 HBM=광대역폭 메모리가 등장. 1) 데이터 입출력 통로인 대역폭을 30배 늘리고, 2) 디램을 12개까지 수직으로 쌓아서 용량 급증

9. 데이터가 GPU의 연산속도에 맞게 빠르게 이동 가능하고, 비슷한 면적에서 12배의 데이터 처리 쌉가능

10. 오늘 SK하이닉스에서 HBM 후공정 라인 중심 2배 증설 소식,
오늘 삼성전자가 AMD에 HBM 공급할거란 전망 소식,
최근 TSMC의 AI용 후공정라인 2배 증설 소식 등

HBM과 관련 후공정에 대한 관심은 빠르게 증가하는 모습


ㅁ 참고 자료
HBM 시장 간단분석
https://t.me/bufkr/9892

SK하이닉스, HBM 생산 두배 늘린다
https://www.etnews.com/20230615000224

AMD 인공지능 칩에 삼성전자 HBM 탑재 전망, 엔비디아-SK하이닉스와 대결
https://www.businesspost.co.kr/BP?command=article_view&num=318196

TSMC, AI GPU 수요 급증에 CoWoS 후공정 캐파 2배 증설할듯
https://www.digitimes.com/news/a20230612PD202/advanced-packaging-ai-gpu-cowos-hpc-tsmc.html