이해와 오해와 실전

구글에 대해 극심한 토론이 있었던 글을 발견했는데 그 길고 긴 논쟁에 대한 답은 딱 한 가지라는 생각이 들었다,

"직접 만들어 봐"

나는 오래 전, 인터넷에 접속하는 것 자체가 기술이기도 했던 시절에 자연어 검색이라든가 형태소 분석 따위의 논의를 주의 깊게 살펴 본 적이 있었다. 사회과학도였던 나는 그 논의를 이해하기 위해 내 인생과 거의 관계가 없던 기술 서적을 사서 보기도 했다. 결론은 잘 모르겠다였고 그 논의는 내가 개입할 부분이 아니라고 인정하는 것이었다. 하지만 당시엔 국내 인터넷이 꽤 좁은 편이어서 웬만한 큰 논의는 알기 싫어도 알게 되는 상황이었다. 지금처럼 너무나 다양한 주제가 매일 새롭게 생성되어 취사 선택이 더욱 중요한 것과는 비교할 수 없을 정도였다.

또 오랜 시간이 흐른 후 나는 검색 수집기와 인덱서, 서버 애플리케이션을 개발하는 일에 직접 개입한 적이 있었다. 내 부하 직원이 직접 코딩을 하고 학습을 하는 과정을 지켜 보았고 다른 파트너 회사가 몇 달에 걸쳐 겨우 새로운 버전의 서버 프로그램을 내 놓는 것을 빠짐없이 지켜 보았다. 결론은? 정말 허접한 프로그램이 나왔다. 검색 수집기는 30분을 버티지 못하고 좀비 프로세서로 변했고 인덱서는 하루에 10만 페이지도 제대로 인덱싱하지 못했다. 중복 수집에 대해 필터링하는 알고리즘을 개발하는데 허덕였고 기껏 구현한 시스템은 제대로 동작하지 않았다.

나는 국내 포탈의 검색 기능에 대해 비판한 적이 거의 없었지만 그 경험 이후로 성능 자체에 대해 비판할 때 반드시 내가 경험한 것을 고려하게 되었다. 검색 엔진 관련 기술, 특히 성능과 관련한 이야기는 아마추어리즘으로 깊이 파고들 문제가 결코 아니다. 비판의 칼날을 벼리고 있다면 최소한 몇 년 이상의 학습과 연구, 탐사, 분석을 해야 겨우 개념을 잡을 수 있다. 나는 틈틈이 공부를 하고 있지만 언제쯤 책임감있게 검색 엔진 자체에 대해 적절한 비판을 할 수 있을 지 확신할 수 없다.

그러나 다른 자들이 책임감 따위는 무시하고 대중의 호응에 영합하여 현실을 곡해하는 것을 막을 수는 있다. 나는 비록 검색 엔진의 기술에 대해 천박한 지식을 갖고 있지만 그런 자들의 의지가 무엇인 지 파악하는 능력을 끊임없이 키워왔다. 그런 자들이 대중을 속이고 자신의 이익에 복무하기 위해 플레임 워를 일으킬 때 그에 대응할 정도의 지식은 있다. 뭔가 심심해서 쿡 찔러 보는 게 아니라 그런 속임수를 막기 위해 내가 할 바를 할 뿐이다.