로컬 SLM, 스펙 말고 속도로 고르는 법 — FLOPs 계산 다 해봐야 토큰 생성 속도는 딴판이다
RTX 4090을 샀다. 24GB VRAM, 1,321 TOPS의 추론 성능, 메모리 대역폭 1,008 GB/s. 스펙시트만 보면 어떤 SLM이든 순식간에 돌릴 것 같다. 그래서 70B 모델을 Q4로 올렸다. 그리고 3 tok/s를 봤다.
Filed under
💡
RTX 4090을 샀다. 24GB VRAM, 1,321 TOPS의 추론 성능, 메모리 대역폭 1,008 GB/s. 스펙시트만 보면 어떤 SLM이든 순식간에 돌릴 것 같다. 그래서 70B 모델을 Q4로 올렸다. 그리고 3 tok/s를 봤다.
2026년 6월 25일, LG CNS는 에이전틱 AI를 탑재한 ERP 테스트 자동화 솔루션 '퍼펙트윈 ERP 에디션'을 공개했다. SAP ERP 환경에서 기업들이 새 버전 S/4HANA로 전환할 때 수일이 걸리던 테스트 작업을 AI가
“월말만 되면 야근 지옥이야.” 중소기업 회계팀의 3월, 6월, 9월, 12월은 전쟁이다. 분기 마감이다. 은행 거래내역 대조, 전표 분류, 미수금 정리, 손익계산서 검토. 보통 3~5일 밤낮 없이 달린다. 연말 결산이면 일주일 넘게 걸리는 경우도
“회사 매뉴얼 PDF 2,400개, 직원 1,200명. 원하는 정보 찾는 데 평균 7분. RAG 챗봇 도입 후 28초로 단축. 구축비 4,800만원, 6개월 만에 ROI 회수.” 국내 중견 제조사 P사의 실제 이야기다. 비결은?
기업당 평균 AI 지출 1,270억 원. 그런데 투자 대비 수익을 자신 있게 말할 수 있는 경영진은 29%뿐이다. 나머지 48%는 "대실망"이라고 답했다. 숫자가 말해준다 — AI 예산은 늘었는데, 예산을 잘
"나중에 고치죠." 이 말 한마디의 연간 이자율은 30%다. 아니, 복리다. 200명 개발 조직 기준 연간 106억 원이 기술 부채 관리에 새고 있다는 Stripe 보고서의 수치를 보면, 그냥 넘길 말이 아니다. 📋핵심
영업 담당 AI 에이전트를 만든다고 치자. Gmail, 캘린더, CRM, 문서, 슬랩, 웹 검색까지 6개 서비스다. REST API로 직접 붙이면 인증 6종, 클라이언트 6개, 에러 핸들링 6벌 — 72~112시간 개발이다. MCP(Model Context Protocol)로
GPT-5.5 Pro의 출력 토큰 100만 개당 가격은 $180입니다. DeepSeek V4 Flash는 $0.28입니다. 같은 API 호출 한 번에 643배의 비용 차이가 납니다. 2026년 6월 11일, Developers Digest가 4대 LLM 제공사의 API 가격을 공식
2026년 6월, 한 개발자가 자신의 수익을 공개했다. 월 $16,700, 연 환산 $200,400(약 2.9억원). 팀도 없고 투자도 없었다. AI 에이전트와 함께 혼자서 달성한 숫자다. 또 다른 사례. Tony Dinh은 2021년 직장을
ERP가 정형 데이터의 세계라면, 그룹웨어는 비정형 업무의 보고다. 전자결재 문서, 게시판 글, 메신저 대화 — 여기에 AI를 붙이면 어떤 일이 가능할까? 이번 편은 모델 비교가 아니라 '어떤 모델을 어디에' 관점으로 풀어본다. 📋핵심 요약