大数据-金马国际
讲述数据获取、存储、管理、分析的方方面面，关注软件、实践、生态，挖掘最新的前沿技术，同时也思考大数据与ai和云计算的深度结合。
- 全部
- dataops
- 数据集成
- datamesh
- 数据编织
- 数据湖仓
- 在离线混部
- 实时计算
- 其他
在 2024 年可信化大会召开前夕，infoq 特地邀请了部分国产数据库的主要负责人和创始人，来聊聊他们对于数据库领域的见解。
本白皮书将深入解析 selectdb 在日志存储与分析领域的最佳实践，包括系统搭建、配置、优化以及应用场景等，同时还将分享不同行业领域的真实案例，展示 selectdb 在帮助企业解决日志存储分析难题、提升业务效率方面的显著成效。
作者 : 
随着信息技术的飞速进步，企业面临着前所未有的系统复杂性和数据挑战。在此背景下，日志数据成为了企业洞察系统内部状态、监控网络安全以及分析业务动态的宝贵资源，构建高效的日志存储与分析平台至关重要。
“身为软件开发者，谁能想到自己的成果会获得如此夸张的人气和热度呢？”
综合营运资金融资方案为核心买家的供应商提供从装运前到装运后的全流程融资方案，令其可凭借经由核心买家确认的订单，向汇丰申请融资。与传统的商业贷款不同，该装运前融资依托供应链出运后融资，将融资节点提前至出运前即可起始。装运前融资计划与装运后供应链金马国际的解决方案在系统和操作流程层面无缝联接，到期自动还款，极大地简化了整个流程。
snowflake 和 databricks 的暗战，并不是冲突这样简单，对开源环境和恶性竞争的讨论，比事件本身更为关键。
淘宝 14 年以来，满足业务快速奔跑，数据持续无序增长，过程中带来了模型效率、数据成本、核心应用稳定性等问题。过去一年通过模型上控制数据规模的增长、dws 覆盖率的提升，数据成本上通过合理性治理、全链路数据治理等手段，稳定性上通过核心基线时效性治理和资损应用保障治理。保障了整体淘宝数据效率、成本可控、数据质量有保障、数据及时产出。
介绍 vivo 数据集成的相关工作实践，包括 vivo 数据集成平台架构和核心功能、监控体系、遇到的问题和挑战，以及在链路稳定性保障、链路数据质量保障和可观测方面的实践，同时也具体介绍了可观测体系的核心思路和操作范式，特别是在链路数据完整性保障等场景下基于可观测的实践方案。
aigc 时代，得数据者得天下。
dataops 是大数据研发体系的重要理念，顺丰大数据也在过去的几年中通过各种办法来提高各个环节的开发效率，但也逐渐遇到了提效手段分散不成体系、提效边际效应递减等困境。
在当前大数据、生成式 ai 以及混合云技术快速发展的背景下，作为数据平台部门的工程师，我们应如何在确保合规要求得到满足的前提下，让数据和人工智能更便捷、安全地被使用，以进一步支持汇丰银行的国际化策略呢？本议题将为大家进行分享。
数据库 schema 的设计对于性能至关重要，而在处理日志和时序数据时也不例外。
作者 : 策划:
目前 apache doris 在无锡锡商银行已经接入数百张实时表、上百数据服务接口 、接口 qps 达到数百万级别。
作者 : 策划:
本文将介绍如何使用 python 和 geopandas 进行地理数据可视化，并提供实用的代码示例。
传统单机数据库的核心技术和理论基础成型多年，如今已经不再能够满足当前企业的主流需求。我们看到大量企业在关注两个问题：要不要使用分布式数据库？应该使用哪款分布式数据库系统？ 本次演讲将梳理数据库发展历史，剖析当前企业实际数据管理需求，并给出参考建议。听完本次演讲，你将了解到 kunlunbase 架构、核心功能以及技术实现，获取关于分布式数据库系统的架构设计趋势。
dataops 是大数据研发体系的重要理念，顺丰大数据也在过去的几年中通过各种办法来提高各个环节的开发效率，但也逐渐遇到了提效手段分散不成体系、提效边际效应递减等困境。
值得一提的是，这款数据库的曾用名是 database 23c，后来由于数据库中添加了一些 ai 功能而变更为现在的名称。
workload group 是通过对工作负载进行分组管理，实现对内存和 cpu 资源的精细化管控。
作者 :
生成式 ai 时代，数据编织将成为下一代数据管理的主流范式。
微软宣布开启 copilot for sql azure 内部预览，提供自然语言到 sql 的转换和数据库自助管理功能。
列式存储引擎，秒级实时分析，oceanbase 4.3 打造超强 tp/ap 一体化数据库。
从 1960s 到现在，数据库技术经历了多层变革，这里面是很多数据库领域工程师的深厚沉淀，也涌现了很多图灵奖的大师。
分布式 data warebase 是性能、正确性、实时性这三个业务核心需求的必然推论，它不是一个发明，而是一个发现。
了解数据领域最新发展趋势；如何借助新一代数据系统更好地提升业务价值；了解 ai 时代应当搭建什么样的数据底座
本文探索了 cloudflare 的分布式 postgresql 集群，学习跨区域架构如何确保韧性。
数据团队就像是一个数据中台，能够全面贯穿整个组织的数据流。
人工智能的巨大突破对社会发展产生了重大的影响，使 ai 技术得以更普遍地下沉到更多的应用场景，ai 将驱动各行各业“质变”，高品质、多样性、大规模的智能数据集建设是 ai 技术应用竞争关键要素之一，在建设大规模数据集过程中，e 级别的安全数据资产必将带来高昂成本支出、及各种质量风险隐患，通过安全生产、表治理、存储与计算治理、平台治理、以及分级存储、智能调度等新技术手段降本增效，有效治理表量级 50%、存储与计算优化超 40%，年度节约成本近亿元。
apache doris 跨集群复制（ccr） 功能的引入，为钱大妈带来了显著的收益。
作者 : 策划:
为提供更高效的数据传输方案，apache doris 在 2.1 版本中基于 arrow flight sql 协议实现了高速数据传输链路，使得数据传输性能实现百倍飞跃。
作者 : 策划:
dbos 的创建者最近推出了 dbos cloud，这是一个为 typescript 开发人员量身定制的事务性无服务器应用程序平台。
