干数据库这一行的，谁还没被distinct坑过几回呢？说句实在话，distinct这个关键词，看着简单，用起来却是个技术活。它就像菜刀，新手拿着切菜，老手能雕花，但一不小心也可能砍到自己手。distinct的官方定义是去重，去掉结果集中重复的行，但这个“去重”背后的逻辑，远比你想象的要复杂。
先聊聊distinct最基础的玩法。你写个，它就能把这一列里重复的值去掉，只保留不重复的那些。比如一张用户表，里面有个“城市”列，上海出现100次，北京出现80次，你用distinct一查，结果就两行：上海和北京。这个场景特别好理解，也特别常用。但这里面有个坑——distinct是对整个结果集去重，不是对单列去重。如果你写，它会把城市和年龄组合起来看，只有当两个字段都一样时，才算重复。你本来只想看有哪些城市，结果因为加了age字段，可能多出好多行。很多人刚开始用distinct，都是在这里栽跟头。
再说说distinct和group by的关系。这两个功能看着像，都能去重，但本质完全不同。group by是分组聚合，你可以对每组做统计，比如，既能去重，又能算出每个城市有多少人。而distinct只能去重，不能做统计。但如果你只是单纯想去重，不需要聚合，那distinct的写法更简洁。比如查一张订单表里有哪些商品被买过，就比看着舒服。不过，group by有个隐藏技能：它比distinct更容易利用索引优化。如果你的表数据量上千万，用group by去重往往比distinct快。这不是玄学，是数据库执行计划的设计差异。
distinct在复杂查询里的表现，才是真正考验功力的地方。比如你要查最近7天下过单的用户ID，但又不能重复。你的第一反应可能是。这个写法没错，但如果orders表有上亿行，这个查询能把你的数据库CPU跑满。为什么？因为distinct需要把所有符合条件的userid先拉出来，然后排序去重。排序操作，在数据量大的时候，就是性能杀手。这时候，换成，利用group by的哈希聚合，性能会好很多。或者更狠一点，用，这是给数据库一个明确的聚合提示。
distinct和窗口函数的组合，是个进阶玩法。比如你要查每个用户最近一次下单的商品，同时还要去掉重复的用户。你可能会想：先用窗口函数rownumber()给每个用户的订单排个序，然后在外层查询里用distinct。但这里有个更优雅的写法：。这个写法直接在每个用户的窗口里取第一个值，再用distinct去重，一步到位。但注意了，distinct和窗口函数一起用，数据库的排序压力会翻倍。如果你遇到性能问题，可以考虑用子查询加rownumber() = 1的方式替代。
再说一个很多人不知道的细节：distinct在null值处理上的行为。大多数数据库把null视为一种特殊的值，distinct处理null时，会把所有null行合并成一条。比如你查，如果city列里有null，结果集里只会出现一个null行。这个行为在大部分场景下是合理的，但如果你需要对null值做特殊处理，比如把null当成“未知城市”和其他城市区分开，那就不能用distinct了。你得用，或者用CASE WHEN手动处理。
distinct在join操作里的使用，也是个容易出问题的点。比如你要查所有下过单且填写了收货地址的用户，你可能会写。这个查询逻辑没问题，但性能可能很糟糕。因为join操作本身就会产生大量中间结果，再加上distinct去重，数据库要做两次去重：一次是join时隐式去重，一次是distinct显式去重。更高效的做法是先用exists或in来过滤，比如。这样直接避免了join产生的笛卡尔积，distinct自然就不需要了。
说说distinct在数据仓库里的用法。在OLAP场景下，distinct经常用来计算UV（独立访客数）。比如。但这个写法对数据量极其敏感。如果pageviews表有几十亿行，这个COUNT(DISTINCT)查询能把你的数据仓库跑死。因为COUNT(DISTINCT)需要把所有userid加载到内存里，去重后再计数。大数据量下，内存根本扛不住。这时候，业界常用的方案是使用HyperLogLog算法，或者用近似去重函数，比如ClickHouse的uniqCombined、Spark SQL的approxcountdistinct。这些函数牺牲了极小的精度（误差通常在1%以内），换来了几百倍的性能提升。如果你做报表或者实时监控，完全可以用近似去重，没必要追求那0.1%的精确度。
distinct这个关键词，说到底就是一把双刃剑。用好了，你的SQL简洁优雅；用不好，就是性能炸弹。我见过太多人，一遇到去重需求就无脑用distinct，结果数据量一上来，数据库直接罢工。真正的数据库高手，会在写distinct之前先问自己三个问题：这个去重真的需要吗？能不能用group by替代？能不能用子查询或exists改写？想清楚这三个问题，你的SQL质量至少上一个台阶。记住，distinct不是银弹，它只是工具。用工具之前，先搞清楚你要解决什么问题。
