Venture Beat가 전한 소식이다.
‘데이터 옵저버빌리티(Data Observability)’는 현재 데이터 업계의 뜨거운 이슈이다.
두 개의 데이터 옵저버빌리티 스타트업인 Cribl과 Grafana Labs는 각각 2억 달러를 투자받았고, Acceldata와 DeepFactor와 같은 관련 회사는 이보다는 적지만 큰 금액을 투자받았다.
이러한 열풍의 배경은 무엇일까? 기업의 데이터 시스템은 출근/등교 전 바쁜 집안과 비슷하다. 방마다 사람이 드나들고 문이 열리고 닫히는 등 활동의 흐름이 복잡하다. 파이프를 통해 흐르는 물, 전기, 모든 곳에 영향을 미치는 와이파이, 통풍구를 통해 이동하는 따뜻한 공기와 차가운 공기 등 다양한 흐름이 있는 것과 비슷한 것이다.
다만, 기업의 데이터 시스템과 바쁜 집안의 차이점은 기업 데이터는 전례없는 속도로 현재에도 증가하고 있다는 것이다. 가정과 기업은 모두 이러한 복잡성을 일상적인 것으로 받아들이기 쉽다. 하지만 문제가 발생하면 삶이 즉시 중단될 수 있다는 것이 공통점이다. 집에서 스마트 온도 조절기, 커넥티드 가전 제품, 웹캠 보안 시스템과 같은 현대적인 편의시설이 있는 이유가 바로 여기에 있다. 이러한 기구를 통해서는 가정에서 일어나는 일들을 감시할 수 있다. 기업도 역시 시스템을 모니터링하면 문제를 해결하려고 시도할 수 있다.
시스템을 모니터링하고 이해하는 능력인 데이터 옵저버빌리티가 현재 IT 기업에서 가장 뜨거운 주제인 이유이다. 기업이 관심있는 하위 데이터 옵저버빌리티 주제는 다음과 같다.
- 모니터링: 팀이 미리 정의한 메트릭 또는 로그 집합을 수집하여 데이터 시스템에서 어떤 일이 발생하는지 지켜보고 이해할 수 있는 솔루션이다.
- 옵저버빌리티: 이전에 생각하지 않았을 수 있는 질문에 대한 답변을 포함하여 시스템에 변화가 발생하는 이유를 알려주는 솔루션이다.
데이터 옵저버빌리티 회사인 Crible의 최고 경영자 Clint Sharp는 데이터 옵저버빌리티를 설명하려고할 때 이러한 말을 했다.
샤프는 “옵저버빌리티는 내가 계획하지 않았을 수도 있는 질문을 포함하여 복잡한 시스템에 대한 질문을 답할 수 있는 능력”이라며 가정 내 온도가 예상보다 갑자기 높아지거나 낮아질 경우를 알려주는 온도 조절기에 비유했다.
“답하기 어려운 질문은 ‘왜 온도가 이상해졌나요?’와 같은 질문이다.” 특히 수십 명의 개발자가 작업하고 있는 현대 응용 프로그램과 모든 종류의 복잡한 상호작용이 있는 경우 이러한 질문에 대답하기 어려울 수 있다.
데이터 옵저버빌리티은 “왜”와 관한 것이다. 이는 IT 인프라와 데이터 시스템 내에서 단순히 문제를 모니터링하는 거과 차별화된다. 지난 몇 년 동안 기업들은 단순한 데이터 모니터링에서 데이터 옵저버빌리티로 전환하기 시작했으며 이러한 추세는 막 활기를 띄기 시작했다.
리서치 회사 가트너(Gartner)에 따르면 기업은 2024년까지 관측 가능성 도구의 채택률을 30% 증가시킬 것이다. New Relic의 2021 Observability Forecast에 따르면 IT리더의 90%는 데이터 옵저버빌리티가 비즈니스 성공에 매우 중요하다고 말했으며 76%는 내년에 관련 예산의 증가를 예상했다.
현재 이러한 데이터 옵저버빌리티에 중점을 둔 회사는 Cribl, Splunk, Accel Data, Monte Carlo, Bigeye, Databand 정도로 소수에 불과하다.
데이터 옵저버빌리티는 조직의 시스템 데이터가 얼마나 건강한지 확인할 수 있는 엔터프라이즈 기술업계에서 바르게 성장하는 분야이다. 기업 내외부로 유입되는 모든 이질적인 데이터에서 비즈니스에 심각한 중단을 초래할 수 있는 잠재적 약점을 알 수 있다.
Enterprise “data observability” is a hot space right now.
Over the past couple of months, investors have pumped $200 million into each of Cribl and Grafana Labs, two data observability startups, and lesser amounts into related companies like Acceldata and DeepFactor.
What’s behind this frenzy?
Well, enterprise data systems are like a busy family household. From room to room, you have a complex ebb and flow of activity, with people coming and going, and doors opening and closing. Various inbound streams from utilities make it all go: water flowing through pipes, electricity, and Wi-Fi powering everything, and warm or cool air flowing through the vents.
The difference is that in the enterprise, the data deluge is increasing at an unprecedented rate.
At home, as in the enterprise, it’s easy to take this complexity for granted day-to-day, but when something goes haywire, life can instantly grind to a halt. At home, this is why we have modern conveniences such as smart thermostats, connected appliances, and webcam security systems. These gadgets let us monitor what’s going on in the home, be it a dead lightbulb or an unwanted intruder — and then try to rectify the problem.
This ability to monitor and understand the system is the reason why data observability is one of the hottest topics in enterprise IT at the moment. To be clear, here is what we’re discussing:
- Monitoring: solutions that allow teams to watch and understand what is happening in their data systems, based on gathering predefined sets of metrics or logs.
- Observability: solutions that allow teams why changes are happening in their systems, including answering questions that may not have been previously asked or thought of.
The home analogy is what Clint Sharp, cofounder, and CEO of data observability company Cribl, sometimes uses while trying to explain data observability in relatable terms.
“Observability is the ability to ask and answer questions of complex systems, including questions I may not have planned in advance,” Sharp said, likening observability tools to a thermostat that will notify you if the temperature in your home suddenly goes dramatically higher or lower than expected.
“A harder question to answer is: Why did the temperature go awry?” Sharp said. “That can be a difficult thing to diagnose, especially if I’m doing it on a modern application with dozens of developers working on it and all kinds of complex interactions.”
The “why” part is what data observability is all about, and it’s what sets it apart from simply monitoring for problems — meaning the “what” — within IT infrastructure and data systems. During the last few years, enterprises have begun shifting from mere data monitoring to data observability, and the trend is only now beginning to pick up steam.
By 2024, enterprises will increase their adoption rate of observability tools by 30%, according to research firm Gartner. And 90% of IT leaders say that observability is critical to the success of their business, with 76% saying they expect to see their observability budgets increase next year, according to New Relic’s 2021 Observability Forecast.
This is good news for people such as Cribl’s Sharp, whose startup is just one of many players in this fast-growing ecosystem. For its part, Cribl offers a centralized observability infrastructure that can plug into a vast array of data sources and observability tools. There are plenty of them out there: Splunk, Accel Data, Monte Carlo, Bigeye, and Databand are just a handful of the companies focused on data observability at the moment.
Data observability is a fast-growing discipline in the world of enterprise technology that seeks to help organizations answer one question: How healthy is the data in their system? With all the disparate (and often differently formatted) data flowing into, within, and out of enterprises, where are the potential weaknesses — such as missing, broken, or incomplete data — that could lead to a business-crippling outage?
