博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
SQLServer中利用NTILE函数对数据进行分组的一点使用
阅读量:7247 次
发布时间:2019-06-29

本文共 1967 字,大约阅读时间需要 6 分钟。

原文:

本文出处: 

 

  NTILE函数可以按照指定的排序规则,对数据按照指定的组数(M个对象,按照某种排序分N个组)进行分组,可以展现出某一条数据被分配在哪个组中.

  不仅可以单单利用这个特性,还可以借助该特实现更加有意思的功能.
  

NTILE的基本使用

  NTILE的作用是对数据进行整体上的分组,比如有60个学生,按照成绩分成“上中下”三个级别,可以看出那些人位于哪个级别,用NTILE函数就可以实现。

  比如这里的简单的示例,有六个学生,按照成绩,分成三组,可以看到,每个人位于哪一组中(或者说哪个人位于哪个层次)

当然也可以分成两组,分组和排序方式由NTILE (N)OVER(ORDER BY *** ASC | DESC) 决定

 

在NTILE的分组功能上扩展

当然这个应用还可以扩展,借助其扩展功能,可以完成很多个性化的需求。

最近遇到一个需求,要处理一批历史数据,目的是根据其Id,经过一系列的逻辑运算(存储过程实现),计算生成这个Id的某些属性,
正常情况下是循环表中的每一行数据,分别传入存储过程进行处理。
/*
DECLARE @id INT = 0
DECLARE @achived bit = 1
while @achived>0
begin
  select top 1 @id = id from business_table order by id
  insert into deal_result
  exec deal_procrdure @id

  delete from t where business_table = @id

if exists (select 1 from t)

  set @achived = 1
else
  set @achived = 0
end
*/

但是考虑到business_table的数据量太大,单个Session运算起来可能要花费太久的时间,

因此要考虑使用多个Session,每个Session分别计算一部分数据,这样就可以加快数据的生成效率。

比如有1000W行数据,使用10个Session,每个Session计算100W行,这样比一个Session计算1000W行数据,理论上要快10倍

那么这里就涉及到一个分组的问题,鉴于数据的特点,其Id是唯一的但不连续的,
比如要分成10组,如何通过Id的范围,确保每组的数据量基本上相同?

 

一开始是采用比较笨的方法,利用top,比如前100W行数据,可以这样

select max(id) from
(
  select top 100W from t
)t
通过这样,如果最大的id为Id1,那么前100W行的数据范围为0~Id1。

对于第二个100W行的数据,可以计算前200W行的max(id)

select max(id) from
(
  select top 200W from t
)t
如果最大的id为Id2,那么第二个100W行的数据范围为Id1~Id2。

 

然后依次类推,是有点笨……

 

  类似需求可以通过上面提到的NTILE分析函数实现

  先上个实例代码,模拟上文提到的Business_table Id唯一但是不连续的情况

DECLARE @i INT = 0WHILE @i<200000BEGIN    INSERT INTO TestNtile VALUES (@i,NEWID())    set @i=@i+1ENDGO--随机删除部分数据,模拟Id不是连续的;WITH delAS(    select top 100 * from TestNtile order by NEWID())DELETE FROM del    GO--通过NTILE分成十个组,取每个组的最大值SELECT GroupId,MAX(Id) AS IdFROM (    select NTILE (10)over(order by Id) as GroupId,Id      from TestNtile  )tGROUP BY GroupIdGO

  原理正如备注中的写的,利用NTILE函数,对数据整体上分成10组,取每个组的最大值,就可以确定每个组的Id的区间范围了。
  参考下图,将测试数据分成10组,分别取得每个组的最大Id值,就可以确定每个组的Id的范围了。

  这样就很容易确定,第一组的Id的范围是0~20215,第二组的范围是20216~40406,第三组的范围是40406~60572……

  计算出来范围之后,可以通过启动多个Session来循环计算,或者是交给应用程序的多个线程,让每个线程分别处理每一个范围内的Id

 

很基础的问题,就不总结了。

 

转载地址:http://zwbbm.baihongyu.com/

你可能感兴趣的文章
this web application instance has been stopped ...
查看>>
关于 Odoo 的 dbfilter 配置项
查看>>
Tcpdump使用
查看>>
我的友情链接
查看>>
dao层的各种封装...
查看>>
abacus5000性能拷机--频繁呼叫
查看>>
Amazon s3
查看>>
Ubuntu 根目录文件作用分析
查看>>
mogilefs分布式部署及说明
查看>>
我的友情链接
查看>>
DHCP Server跨路由分配IP地址(DHCP中继)
查看>>
读书笔记(九)--三分做事,七分做人
查看>>
我学习嵌入式linux开发入门过程(三)
查看>>
Http请求
查看>>
使用bootstrap完成响应式的折叠导航栏
查看>>
Android Studio 开发工具基本设置
查看>>
从asm磁盘删除磁盘
查看>>
中国江苏大院大所合作对接会即将在南京举行
查看>>
oracle11g r2 学习记录
查看>>
linux 中 phpstudy 安装 redis 和 扩展
查看>>