하루에 5-6개 넘는 AI 영상을 시청하고 단어들을 곱씹어 보고 하고 있습니다. 마치 처음 OpenStack을 공부하던 2017년 2018년 그 즈음의 저를 떠올리게 하는데요 ㅎㅎ
항상 그랬지만 모르는게 너무 많고 너무 부족하다고 생각이 들어서 어디 유튜브 같은데 제 생각을 공유 드리긴 뭣하고, 그냥 AI를 스터디 하고 있는 스터디원의 입장에서 저의 생각을 종종 여기에 편하게 풀어내 보고자 합니다.
1.기술은 쉽게 변하지만 사람은 쉽게 변하지 않습니다.
생각해 보시면, 개발물을 배포하는 프로세스와 인프라를 운영하는 프로세스는 정 반대입니다.
- 개발은 어차피 휴먼에러를 기저에 깔고, DEV, STG 환경을 만들어 배포를 해가며 에러를 잡아냅니다.
- 인프라 운영은 휴먼에러를 용납하지 않습니다. 작업 1주일 전에 작업서를 만들어서 허락을 받고 작업서 대로 작업을 해야합니다.
똑같은 프롬프트를 넣어도 다른 답변을 내어놓는 LLM 기반의 AI 에게는 어차피 한번의 잘못된 명령어가 장애로 이어지는 인프라 작업을 맡길 수 없습니다. 조직의 심리적 저항감이 당분간은 쉽게 무너지지 않을겁니다.
2.AI는 한 번에 답변을 내어주지 못합니다.
인프라 관리는 개발만큼 쉽사리 AI에 맡기지 못할겁니다. 그리고 이걸 현재 AI에게 맡길 수 없다는건 인프라를 운영 해보거나 관련 작업을 해 본 분들이라면 쉽사리 알 수 있습니다.
요즘은 코드를 “깎아낸다” 라고 표현들 하시죠. LLM의 결과물은 수많은 티키타카와 잔소리의 산물입니다. 한 방에 제대로 결과물이 나오지 못한 다는건 써본 분들이라면 다 아는 이야기 입니다.
AI가 스스로 모든걸 잘 해냈다면 Harness Engineering 이란 단어가 등장 하지도 않았을겁니다. Harness Engineering 이라는 단어야 말로, 아직은 AI가 인프라 운영을 맡을 수 없다는 증거가 되기도 한다고 생각합니다.
3.그렇다고 손 놓고 있어야 할까요?
아니죠! ㅎㅎ 그래도 유행은 타야 하지 않겠습니까. SDN을 거쳤고, OpenStack을 거쳤고, Cloud Native와 DevOps를 건너 우리는 이제 AI 의 물결을 타고 있습니다. 시대의 물결을 타야하는것이 IT 종사자의 숙명 아니겠습니까.
4. Tool Calling
AI 영상을 보다보면, AI한테 코드를 짜라고 시키는것 보다는 AI의 Tool Calling 기능에 집중하는 분들이 꽤 계시다는것을 보게 됩니다. 실행은 Python Script, Bash Script 또는 Ansible이 하도록 하고, 상황 판단만 AI에게 맡기는 겁니다.
마치 지금같은 과도기에는 전기차 보다는 하이브리드 차량이 더 낫다고 판단하는 부류가 있는것 처럼,
저도 마찬가지 입니다만, 지금같은 과도기에는 그래도 확률을 통해 움직이는 LLM 을 완전히 의지하지 않고, 상황만 판단하게 하고 여러가지 Bash Script 및 Ansible Script를 실행하게 하고, 결과를 정리하고 문자로 발송하는 곳에 제한적으로 활용하는 접근을 취하는 분들을 보게 됩니다.
OpenCode를 사용하여 그 안에서 Ansible을 실행하고, Bash script를 실행하게 하는 방법.
- IP를 스스로 판단하여 Ansible을 실행하는 정도의 지능.
- 에러가 나면 스스로 에러메시지를 일부 정리하여 우리에게 보내게 하는 정도의 지능
- 특정한 변수가 꼭 필요하다고 인지하면 운영자에게 “너 이 변수 꼭 필요해” 라고 알려줄수 있는 정도의 지능.
이 정도의 범위로 한정지어서 인프라 내에서 AI를 활용해 보고 있습니다!
저와 같이 일하는 분들에게 연습 삼아 시키고 있는 OpenCode와 친해지기 과정을 만들고 있는데요,
정말 별거 아니지만, 나중에 기회가 되면 공유 드려보겠습니다.
(사실 저만의 생각이라 너무 이런곳에 올리기가 부끄럽기도 하지만, 여기서는 다들 너그럽게 봐 주실거라 생각하고…ㅎㅎ 기회가 되면 또 생각을 공유 드려보겠습니다.)