OLAP也能具備高性能GIS能力,火山引擎ByteHouse新功能上線
(原標題:OLAP也能具備高性能GIS能力,火山引擎ByteHouse新功能上線)
在數字化時代,地理空間分析(Geospatial Analytics)成爲輔助企業市場策略洞察的重要手段。無論是廣告投放的精準定位,還是電商物流的效率優化,都離不開對地理空間數據的查詢、分析和可視化處理,以便助力企業更好決策。
一些傳統的地理信息系統數據庫具備豐富的地理空間對象結構、成熟的空間索引能力,在導航、旅遊、智能城市等典型應用場景中被廣泛使用。隨着實時分析報表等OLAP市場的擴大,地理空間分析也作爲新的增值特性被業界幾大OLAP主流產品所推廣。OLAP+GIS能力在滿足用戶地理空間數據分析的基礎上,還能在數據體量大、實效性要求高的情況下,滿足業務高性能查詢的需求。
作爲火山引擎推出的一款OLAP引擎,ByteHouse近期發佈了高性能地理空間分析GIS能力,爲位置洞察、人羣圈選等場景提供高性能地理數據分析服務。
在功能層面,ByteHouse兼容OGC標準,支持導入標準GIS文件格式,目前已支持超過50個主流的空間函數。爲了提供更極致的使用體驗,ByteHouse還在探索自研優化器適配GIS特性,以及GPU硬件層面優化二維空間函數。
更值得一提的是,在關鍵性能上,ByteHouse GIS在列式小批組織的數據結構上引入RTree等二維空間索引能力,並在CPU硬件層面實現了二維空間函數的性能優化,整體提升了端到端性能。
在Benchmark測試中,通過選取兩個關鍵 GIS 函數ST_DistanceSphere 和 ST_Within,使用 NYC Taxi 數據集(Size:21GB;條數:169,001,162),並選取3個不同大小的地理區域,研發人員將ByteHouse、StarRocks、 ClickHouse Community、PostGIS 、 DuckDB Spatial進行性能對比。測試結果顯示,ByteHouse 在優化器、硬件等層面的優化,使其在測試函數的性能上顯著超越其他產品。
據火山引擎ByteHouse技術專家介紹,“對比傳統地理信息系統數據庫,ByteHouse將OLAP和GIS結合起來,一方面具備OLAP的高效查詢和計算的優勢,另一方面,空間數據對象按照列的方式存儲,不僅節省存儲空間,更能充分發揮向量化的優勢,特別是在空間函數層面,還能利用硬件並行化能力提速。”
目前,ByteHouse GIS 已經在POI洞察、作戰地圖、人羣圈選、拓店選址等場景爲相關需求方落地地理空間分析服務。以有配送需求的業務場景舉例,在ByteHouse GIS能力支持下,運營人員可以在地圖中圈選出特定多邊形,觀察多邊形內部商家的供給和客流量,顯示配送員的位置和配送狀態,實現更有效地調度資源,提高配送效率。
在電商場景中,ByteHouse GIS能力不僅滿足平臺商家運營快速分析商家經營狀態、管理商家的需求,還將數據讀取量減少超過50%,進一步降低了磁盤IO以及計算帶來的CPU開銷。
不僅僅在GIS能力上具備極致性能,ByteHouse基於分佈式架構設計,可以輕鬆地水平擴展,處理PB級別的數據,還完全兼容雲原生技術棧,支持彈性資源調度,能夠根據實際需求動態調整計算資源,並且具備自動化運維功能。未來,ByteHouse也會持續爲用戶提供卓越的數據處理和分析體驗,助力企業實現數字化轉型和智能化升級。