AllenLyc

Sql Server 随机抽取数据效率优化

  1.  山人我最近遇到一件很纠结的事情,就是如何快速的从数据表里随机抽取一条数据。 <P>     我生成了一个简单的数据表,并且导入了500W条数据进行测试。</P><P>     下图为第一次采用的SQL语句:</P>  
 山人我最近遇到一件很纠结的事情,就是如何快速的从数据表里随机抽取一条数据。

     我生成了一个简单的数据表,并且导入了500W条数据进行测试。

     下图为第一次采用的SQL语句:

[sql]
Declare @d Datetime  
  1. Set @d=getdate()  
  2. SELECT top 1[ActivityID]  
  3.       ,[CardNo]  
  4.       ,[Password]  
  5.       ,[State]  
  6.       ,[CreateTime]  
  7.       ,[GetTime]  
  8. FROM [TGBus_Card].[dbo].[Ka_Card] Where ActivityID = 501 And State = 0 Order By NEWID()  
  9. Select [语句执行花费时间(毫秒)]=Datediff(ms,@d,Getdate())  
Declare @d Datetime
Set @d=getdate()
SELECT top 1[ActivityID]
      ,[CardNo]
      ,[Password]
      ,[State]
      ,[CreateTime]
      ,[GetTime]
FROM [TGBus_Card].[dbo].[Ka_Card] Where ActivityID = 501 And State = 0 Order By NEWID()
Select [语句执行花费时间(毫秒)]=Datediff(ms,@d,Getdate())

 

这是我优先会想到的解决方案,NEWID()每次都要检索整个数据表,为每一行数据产生一个uniqueidentifier类型的唯一值,所以它的执行效率肯定不高 ,每次执行都要在4秒左右。

    还有没有更好的办法那?!

    山人我在想,因为SELECT是在ORDER BY之前执行的,所以能不能在SELECT的时候产生NEWID()后在ORDER BY使用那?

  于是有了第二个版本:

复制代码
Declare@dDatetimeSet@d=getdate()
SELECTtop1[ActivityID]
      ,[CardNo]
      ,[Password]
      ,[State]
      ,[CreateTime]
      ,NEWID() as Random
FROM[TGBus_Card].[dbo].[Ka_Card]Where ActivityID =501And State =0OrderBy Random
Select[语句执行花费时间(毫秒)]=Datediff(ms,@d,Getdate())
复制代码

 

   确实有所提高!!但太不明显了。。。。。

   还有没有更好的办法?!

   于是我又想到了2005的新特性TABLESAMPLE,马上试试!

   这是第三版的代码:

复制代码
Declare@dDatetimeSet@d=getdate()
SELECTtop1[ActivityID]
      ,[CardNo]
      ,[Password]
      ,[State]
      ,[CreateTime]
      ,[GetTime]FROM[TGBus_Card].[dbo].[Ka_Card] tablesample (1000 Rows) Where ActivityID =501And State =0Select[语句执行花费时间(毫秒)]=Datediff(ms,@d,Getdate())
复制代码

 

   速度太快了!!!10几毫秒就显示了!

   到这里山人我本以为事情搞定了!心里还美滋滋的!于是小研究了一下TABLESAMPLE,不看不知道,原来TABLESAMPLE随机选取的单位是数据页!!我靠!!也就是说如果数据量很小的话很可能有取不到数据的可能,试一下果然如此!这个不靠谱的家伙!

   问题又回到了起点。。。难道真的就要用NEWID了吗?正当山人我感慨的时候在MSDN上无意中看到了这段文字:

 

  感觉有戏!!

  于是又写了这第四版代码:

复制代码
Declare@dDatetimeSet@d=getdate()
SELECTTop1*FROM[TGBus_Card].[dbo].[Ka_Card]WHERE0.01>=CAST(CHECKSUM(NEWID(), CardNo) &0x7fffffffASfloat) /CAST (0x7fffffffASint)
And ActivityID =501And State =0Select[语句执行花费时间(毫秒)]=Datediff(ms,@d,Getdate())
复制代码

 

  这也是我最终采用的方法,SQL执行速度在1毫秒左右。

 

分类:

技术点:

相关文章: