注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

dingchaoqun12 的博客

上海股票期货开户

 
 
 

日志

 
 
 
 

轻量级开源内存数据库SQLite性能测试-IT168 技术开发专区  

2013-03-03 00:40:57|  分类: 默认分类 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
消费数码| 笔记本 手机 平板电脑 超极本 数码相机 摄像机 投影机 家电 耳机 MP3|MP4 智能电视机
硬件设备| 显示器 显卡 一体电脑 台式机 内存硬盘 CPU专区主板 键鼠 音箱 机箱|电源 软件|下载
办公| 服务器 网络通信 信息化 CU社区 安防监控
存储| IT文库 技术开发 企业安全 打印扫描 虚拟化

轻量级开源内存数据库SQLite性能测试

        【IT168 专稿】SQLite是一款轻型的数据库,它占用资源非常的低,同时能够跟很多程序语言相结合,但是支持的SQL语句不会逊色于其他开源数据库。它的设计目标是嵌入式的,而且目前已经在很多嵌入式产品中使用了它,它占用资源非常的低,在嵌入式设备中,可能只需要几百K的内存就够了。它能够支持Windows/Linux/Unix等等主流的操作系统,同时能够跟很多程序语言相结合,比如Tcl、PHP、Java 等,还有ODBC接口,同样比起Mysql、PostgreSQL这两款开源世界著名的数据库管理系统来讲,它的处理速度比他们都快。

  SQLite虽然很小巧,但是支持的SQL语句不会逊色于其他开源数据库,它支持的SQL包括:

ATTACH DATABASE
BEGIN TRANSACTION
comment
COMMIT TRANSACTION
COPY
CREATE INDEX
CREATE TABLE
CREATE TRIGGER
CREATE VIEW
DELETE
DETACH DATABASE
DROP INDEX
DROP TABLE
DROP TRIGGER
DROP VIEW
END TRANSACTION
EXPLAIN
expression
INSERT
ONREPLACESELECT

  同时它还支持事务处理功能等等。也有人说它象Microsoft的Access,有时候真的觉得有点象,但是事实上它们区别很大。比如SQLite 支持跨平台,操作简单,能够使用很多语言直接创建数据库,而不象Access一样需要Office的支持。如果你是个很小型的应用,或者你想做嵌入式开发,没有合适的数据库系统,那么现在你可以考虑使用SQLite。它的官方网站是:http://www.SQLite.org或者,能在上面获得源代码和文档。同时因为数据库结构简单,系统源代码也不是很多,也适合想研究数据库系统开发的专业人士。

  下面是访问SQLite官方网站: http://www.SQLite.org/ 时第一眼看到关于SQLite的特性:

?    ACID事务
?    零配置 – 无需安装和管理配置
?    储存在单一磁盘文件中的一个完整的数据库
?    数据库文件可以在不同字节顺序的机器间自由的共享
?    支持数据库大小至2TB
?    足够小, 大致3万行C代码, 250K
?    比一些流行的数据库在大部分普通数据库操作要快
?    简单, 轻松的API
?    包含TCL绑定, 同时通过Wrapper支持其他语言的绑定
?    良好注释的源代码, 并且有着90%以上的测试覆盖率
?    独立: 没有额外依赖
?    Source完全的Open, 你可以用于任何用途, 包括出售它
?    支持多种开发语言,C, PHP, Perl, Java, ASP.NET,Python

  要使用SQLite,需要从SQLite官网下载到三个文件,分别为SQLite3.a,SQLite3.h,然后再在自己的工程中配置好头文件和库文件,同时将dll文件放到当前目录下,就完成配置可以使用SQLite了。

  使用的过程根据使用的函数大致分为如下几个过程:

?    SQLite3_open()
?    SQLite3_prepare()
?    SQLite3_step()
?    SQLite3_column()
?    SQLite3_finalize()
?    SQLite3_close()

  这几个过程是概念上的说法,而不完全是程序运行的过程,如SQLite3_column()表示的是对查询获得一行里面的数据的列的各个操作统称,实际上在SQLite中并不存在这个函数。

  在操作数据库之前,首先要打开数据库。这个函数打开一个SQLite数据库文件的连接并且返回一个数据库连接对象。这个操作同时程序中的第一个调用的SQLite函数,同时也是其他SQLite api的先决条件。许多的SQLite接口函数都需要一个数据库连接对象的指针作为它们的第一个参数。

intconst char *filename,   /* Database filename (UTF-8) */
  SQLite3 **ppDb          /* OUT: SQLite db handle */
);
intconst void *filename,   /* Database filename (UTF-16) */
  SQLite3 **ppDb          /* OUT: SQLite db handle */
);
intconst char *filename,   /* Database filename (UTF-8) */
  SQLite3 **ppDb,         /* OUT: SQLite db handle */
int flags,              /* Flags */
const char *zVfs        /* Name of VFS module to use */
);

  假如这个要被打开的数据文件不存在,则一个同名的数据库文件将被创建。如果使用SQLite3_open和SQLite3_open_v2的话,数据库将采用UTF-8的编码方式,SQLite3_open16采用UTF-16的编码方式

  如果SQLite数据库被成功打开(或创建),将会返回SQLITE_OK,否则将会返回错误码。SQLite3_errmsg()或者SQLite3_errmsg16可以用于获得数据库打开错误码的英文描述,这两个函数定义为:

const char *SQLite3_errmsg(SQLite3*);
const void *SQLite3_errmsg16(SQLite3*);

  · filename:需要被打开的数据库文件的文件名,在SQLite3_open和SQLite3_open_v2中这个参数采用UTF-8编码,而在SQLite3_open16中则采用UTF-16编码

  · ppDb:一个数据库连接句柄被返回到这个参数,即使发生错误。唯一的一场是如果SQLite不能分配内存来存放SQLite对象,ppDb将会被返回一个NULL值。

  · flags:作为数据库连接的额外控制的参数,可以是SQLITE_OPEN_READONLY,SQLITE_OPEN_READWRITE和SQLITE_OPEN_READWRITE|SQLITE_OPEN_CREATE中的一个,用于控制数据库的打开方式,可以和SQLITE_OPEN_NOMUTEX,SQLITE_OPEN_FULLMUTEX, SQLITE_OPEN_SHAREDCACHE,以及SQLITE_OPEN_PRIVATECACHE结合使用,具体的详细情况可以查阅文档。


  这个函数将sql文本转换成一个准备语句(prepared statement)对象,同时返回这个对象的指针。这个接口需要一个数据库连接指针以及一个要准备的包含SQL语句的文本。它实际上并不执行(evaluate)这个SQL语句,它仅仅为执行准备这个sql语句

int*db,            /* Database handle */
const char *zSql,       /* SQL statement, UTF-8 encoded */
int nByte,              /* Maximum length of zSql in bytes. */
  SQLite3_stmt **ppStmt,  /* OUT: Statement handle */
const char **pzTail     /* OUT: Pointer to unused portion of zSql */
);
int SQLite3_prepare_v2(
  SQLite3 *db,            /* Database handle */
const char *zSql,       /* SQL statement, UTF-8 encoded */
int nByte,              /* Maximum length of zSql in bytes. */
  SQLite3_stmt **ppStmt,  /* OUT: Statement handle */
const char **pzTail     /* OUT: Pointer to unused portion of zSql */
);

  db:数据指针

  zSql:sql语句,使用UTF-8编码

  nByte:如果nByte小于0,则函数取出zSql中从开始到第一个0终止符的内容;如果nByte不是负的,那么它就是这个函数能从zSql中读取的字节数的最大值。如果nBytes非负,zSql在第一次遇见’/000/或’u000’的时候终止

  pzTail:上面提到zSql在遇见终止符或者是达到设定的nByte之后结束,假如zSql还有剩余的内容,那么这些剩余的内容被存放到pZTail中,不包括终止符

  ppStmt:能够使用SQLite3_step()执行的编译好的准备语句的指针,如果错误发生,它被置为NULL,如假如输入的文本不包括sql语句。调用过程必须负责在编译好的sql语句完成使用后使用SQLite3_finalize()删除它。

  如果执行成功,则返回SQLITE_OK,否则返回一个错误码。推荐在现在任何的程序中都使用SQLite3_prepare_v2这个函数,SQLite3_prepare只是用于前向兼容

typedef struct SQLite3_stmt SQLite3_stmt;

  准备语句(prepared statement)对象一个代表一个简单SQL语句对象的实例,这个对象通常被称为“准备语句”或者“编译好的SQL语句”或者就直接称为“语句”。

  语句对象的生命周期经历这样的过程:

?    使用SQLite3_prepare_v2或相关的函数创建这个对象
?    使用SQLite3_bind_*()给宿主参数(host parameters)绑定值
?    通过调用SQLite3_step一次或多次来执行这个sql
?    使用SQLite3——reset()重置这个语句,然后回到第2步,这个过程做0次或多次
?    使用SQLite3_finalize()销毁这个对象

  在SQLite中并没有定义SQLite3_stmt这个结构的具体内容,它只是一个抽象类型,在使用过程中一般以它的指针进行操作,而SQLite3_stmt类型的指针在实际上是一个指向Vdbe的结构体得指针

  在传给SQLite3_prepare_v2()的sql的语句文本或者它的变量中,满足如下模板的文字将被替换成一个参数:

?    ?  ?
?    ?  ?NNN,NNN代表数字
?    ?  :VVV,VVV代表字符
?    ?  @VVV
?    ?  $VVV

  在上面这些模板中,NNN代表一个数字,VVV代表一个字母数字标记符(例如:222表示名称为222的标记符),sql语句中的参数(变量)通过上面的几个模板来指定,如

  “select ? from ? “这个语句中指定了两个参数,SQLite语句中的第一个参数的索引值是1,这就知道这个语句中的两个参数的索引分别为1和2,使用”?”的话会被自动给予索引值,而使用”?NNN”则可以自己指定参数的索引值,它表示这个参数的索引值为NNN。”:VVV”表示一个名为”VVV”的参数,它也有一个索引值,被自动指定。

  可以使用SQLite3_bind_*()来给这些参数绑定值。


  这个过程用于执行有前面SQLite3_prepare创建的准备语句。这个语句执行到结果的第一行可用的位置。继续前进到结果的第二行的话,只需再次调用SQLite3_setp()。继续调用SQLite3_setp()知道这个语句完成,那些不返回结果的语句(如:INSERT,UPDATE,或DELETE),SQLite3_step()只执行一次就返回

int SQLite3_step(SQLite3_stmt*);

  函数的返回值基于创建SQLite3_stmt参数所使用的函数,假如是使用老版本的接口SQLite3_prepare()和SQLite3_prepare16(),返回值会是 SQLITE_BUSY, SQLITE_DONE, SQLITE_ROW, SQLITE_ERROR 或 SQLITE_MISUSE,而v2版本的接口SQLite3_prepare_v2()和SQLite3_prepare16_v2()则会同时返回这些结果码和扩展结果码。

  对所有V3.6.23.1以及其前面的所有版本,需要在SQLite3_step()之后调用SQLite3_reset(),在后续的SQLite3_ step之前。如果调用SQLite3_reset重置准备语句失败,将会导致SQLite3_ step返回SQLITE_MISUSE,但是在V3. 6.23.1以后,SQLite3_step()将会自动调用SQLite3_reset。

int SQLite3_reset(SQLite3_stmt *pStmt);

  SQLite3_reset用于重置一个准备语句对象到它的初始状态,然后准备被重新执行。所有sql语句变量使用SQLite3_bind*绑定值,使用SQLite3_clear_bindings重设这些绑定。SQLite3_reset接口重置准备语句到它代码开始的时候。SQLite3_reset并不改变在准备语句上的任何绑定值,那么这里猜测,可能是语句在被执行的过程中发生了其他的改变,然后这个语句将它重置到绑定值的时候的那个状态。

  SQLite3_column()

  这个过程从执行SQLite3_step()执行一个准备语句得到的结果集的当前行中返回一个列。每次SQLite3_step得到一个结果集的列停下后,这个过程就可以被多次调用去查询这个行的各列的值。对列操作是有多个函数,均以SQLite3_column为前缀:

const void *SQLite3_column_blob(SQLite3_stmt*, int iCol);
int SQLite3_column_bytes(SQLite3_stmt*, int iCol);
int SQLite3_column_bytes16(SQLite3_stmt*, int iCol);
double SQLite3_column_double(SQLite3_stmt*, int iCol);
int SQLite3_column_int(SQLite3_stmt*, int iCol);
SQLite3_int64 SQLite3_column_int64(SQLite3_stmt*, int iCol);
const unsigned char *SQLite3_column_text(SQLite3_stmt*, int iCol);
const void *SQLite3_column_text16(SQLite3_stmt*, int iCol);
int SQLite3_column_type(SQLite3_stmt*, int*SQLite3_column_value(SQLite3_stmt*, int iCol);

  第一个参数为从SQLite3_prepare返回来的prepared statement对象的指针,第二参数指定这一行中的想要被返回的列的索引。最左边的一列的索引号是0,行的列数可以使用SQLite3_colum_count()获得。

  这些过程会根据情况去转换数值的类型,SQLite内部使用SQLite3_snprintf()去自动进行这个转换,下面是关于转换的细节表:

  注:BLOB数据类型是指二进制的数据块,比如要在数据库中存放一张图片,这张图片就会以二进制形式存放,在SQLite中对应的数据类型就是BLOB

  int SQLite3_column_bytes(SQLite3_stmt*, int iCol),int SQLite3_column_bytes16(SQLite3_stmt*, int iCol)两个函数返回对应列的内容的字节数,这个字节数不包括后面类型转换过程中加上的0终止符。

  下面是几个最安全和最简单的使用策略

?    先SQLite3_column_text() ,然后 SQLite3_column_bytes()
?    先SQLite3_column_blob(),然后SQLite3_column_bytes()
?    先SQLite3_column_text16(),然后SQLite3_column_bytes16()
int SQLite3_finalize(SQLite3_stmt *pStmt);

  这个过程销毁前面被SQLite3_prepare创建的准备语句,每个准备语句都必须使用这个函数去销毁以防止内存泄露。

  在空指针上调用这个函数没有什么影响,同时可以准备语句的生命周期的任一时刻调用这个函数:在语句被执行前,一次或多次调用SQLite_reset之后,或者在SQLite3_step任何调用之后不管语句是否完成执行

  这个过程关闭前面使用SQLite3_open打开的数据库连接,任何与这个连接相关的准备语句必须在调用这个关闭函数之前被释放。


  本次测试使用的软硬件环境如下:

  硬件配置:Intel(R) Core(TM) i7 CPU 860 @ 2.80GHz,4核8线程, 内存8GB。

  操作系统: Redhat Enterprise Linux 6.0 X64。

  本次测试为充分展示内存数据库的性能,使用SQLite的内存方式,以嵌入方式来完成测试。

create table Record (id int, i1 int,i2 int,d1 double,d2 double, s1 VARCHAR(30), s2 VARCHAR(30))

  1.单线程

  首先进行单线程的插入测试,向数据库中插入10000000条记录,性能如下:

  单线程插入10000000条记录的耗时为65.6秒,每条记录的花费时间为6.56微秒,每秒处理的记录数为15.2万。

  之后我们增加线程数为4.四个线程同时插入10000000条记录,性能如下:

  四个线程插入10000000条记录的总耗时为125.3秒,平均每条记录耗时12.5微秒,每秒处理8万条数据。

  最后将线程数增加到八个线程,向数据库中添加10000000条记录,每个线程的性能和总体性能如下:

  可以看到8个并发写入10000000条记录所花费的时间大概为152秒,平均每秒可以添加65644条记录。

  插入操作的总体吞吐率:

轻量级开源内存数据库SQLite性能测试-IT168 技术开发专区 - dingchaoqun12 - dingchaoqun12 的博客

  可以看到,插入操作的性能,单个线程并发操作时,吞吐率最大。这是由于SQLite在内存模式时,对于多线程的支持很弱。


  首先进行单线程的更新测试,在数据库中进行10000000次更新,每次更新一条记录的所有字段,性能如下:

  单线程更新10000000条记录的耗时为67秒,每条记录的更新花费时间为6.75微秒,每秒处理的记录数为14.8万。

  之后我们增加线程数为4.

  四个线程同时更新10000000条记录,性能如下:

  四个线程更新10000000条记录的总耗时为124.5秒,平均每条记录耗时12.4微秒,每秒处理8万条数据。

  更新测试是通过八个线程,同时更新数据库中记录,共10000000次操作,每个线程的性能和总体性能如下:

  可以看到8个并发同时更新10000000条记录所花费的时间大概为138秒,平均每秒可以更新72593万条记录。此处的更新为涉及到了每条记录的每个字段。

  更新操作的总体吞吐率:

轻量级开源内存数据库SQLite性能测试-IT168 技术开发专区 - dingchaoqun12 - dingchaoqun12 的博客

  可以看到,更新操作的性能,同样也是单个线程并发操作时,吞吐率最大。


  首先进行单线程的查询测试,在数据库中进行10000000次查找,性能如下:

  单线程进行10000000次查询的耗时为36.2秒,每次查询花费时间为3.6微秒,每秒处理的操作数为27.6万。

  之后我们增加线程数为4.

  四个线程进行10000000次查找操作,性能如下:

  四个线程进行10000000次查找操作的总耗时为79.9秒,平均每条记录耗时7.7微秒,每秒处理13万次查询操作。

  查询测试是通过八个线程,同时查询数据库中记录,共10000000次查询,每个线程的性能和总体性能如下:

  可以看到8个并发同时查询10000000条记录所花费的时间大概为82秒,平均每秒可以进行121909次查询。

  查询操作的总体吞吐率:

轻量级开源内存数据库SQLite性能测试-IT168 技术开发专区 - dingchaoqun12 - dingchaoqun12 的博客

  可以看到,查询操作的性能,同样也是4个线程并发操作时,吞吐率最大。


  首先进行四线程的读写测试,其中2个线程做更新操作,另外两个线程做查询操作,持续运行10秒钟,每个线程的性能和总体性能如下:

  在四个线程进行读写测试时,平均每秒可以进行6.7万次查询,3.7万次更新,总体吞吐率为10.5万。

  读写测试是通过八个线程,其中四个线程持续做更新操作,另外四个线程做查询操作,持续运行10秒中,每个线程的性能和总体性能如下:

  可以看到同时进行读写测试时,平均每秒可以进行8万次查询,2万次更新,总体吞吐率为10万。

  3.总结

  1:1读写操作的总体吞吐率:

轻量级开源内存数据库SQLite性能测试-IT168 技术开发专区 - dingchaoqun12 - dingchaoqun12 的博客

  可以看到,1:1读写操作的性能,4线程与8线程总体吞吐率相近,而更新吞吐率四线程比8线程高,查询吞吐率则正好相反。


  1.单线程

  首先进行单线程的删除测试,在数据库中进行10000000次删除,每次删除一条记录,性能如下:

  单线程进行10000000次删除操作的耗时为68.5秒,每次查询花费时间为6.8微秒,每秒处理的操作数为14.6万。

  之后我们增加线程数为4.

  四个线程进行10000000次删除操作,性能如下:

  四个线程进行10000000次删除操作的总耗时为119秒,平均删除每条记录耗时11.9微秒,每秒处理8.4万次删除操作。

  删除测试是通过八个线程,按照记录ID,同时删除数据库中记录,共10000000个对象,每个线程的性能和总体性能如下:

  可以看到8个并发同时删除10000000条记录所花费的时间大概为124秒,平均每秒可以进行8万次删除。

  查询操作的总体吞吐率:

轻量级开源内存数据库SQLite性能测试-IT168 技术开发专区 - dingchaoqun12 - dingchaoqun12 的博客

  可以看到,删除操作的性能,同样也是单个线程并发操作时,吞吐率最大。

  以上测试都是每次操作都为一个事务,每次操作只涉及一条记录。

  本文总结:

  Sqlite最大的特点在于不成为单独的数据库引擎进程,可以使用Sqlite的函数库,也可以成为一个延伸函数库,如PHP4。并且有很多的第三方GUI管理软件,如SQLiteMan、SQLite Manager等。Sqlite总代码约3W行,并且没有额外依赖,这在开源软件中是比较少见的,Sqlite在随程序编译后,目标程序增量大约为300K,轻量级特性和免费让它在嵌入式设备中尤为受欢迎。

盛拓传媒简介 | 关于IT168 | 合作伙伴 | 广告服务 | 使用条款 | 投稿指南 | 诚聘精英 | 联系我们 | 苹果论坛 | 网站导航 | 往日回顾

轻量级开源内存数据库SQLite性能测试

        【IT168 专稿】SQLite是一款轻型的数据库,它占用资源非常的低,同时能够跟很多程序语言相结合,但是支持的SQL语句不会逊色于其他开源数据库。它的设计目标是嵌入式的,而且目前已经在很多嵌入式产品中使用了它,它占用资源非常的低,在嵌入式设备中,可能只需要几百K的内存就够了。它能够支持Windows/Linux/Unix等等主流的操作系统,同时能够跟很多程序语言相结合,比如Tcl、PHP、Java 等,还有ODBC接口,同样比起Mysql、PostgreSQL这两款开源世界著名的数据库管理系统来讲,它的处理速度比他们都快。

  SQLite虽然很小巧,但是支持的SQL语句不会逊色于其他开源数据库,它支持的SQL包括:

ATTACH DATABASE
BEGIN TRANSACTION
comment
COMMIT TRANSACTION
COPY
CREATE INDEX
CREATE TABLE
CREATE TRIGGER
CREATE VIEW
DELETE
DETACH DATABASE
DROP INDEX
DROP TABLE
DROP TRIGGER
DROP VIEW
END TRANSACTION
EXPLAIN
expression
INSERT
ONREPLACESELECT

  同时它还支持事务处理功能等等。也有人说它象Microsoft的Access,有时候真的觉得有点象,但是事实上它们区别很大。比如SQLite 支持跨平台,操作简单,能够使用很多语言直接创建数据库,而不象Access一样需要Office的支持。如果你是个很小型的应用,或者你想做嵌入式开发,没有合适的数据库系统,那么现在你可以考虑使用SQLite。它的官方网站是:http://www.SQLite.org或者,能在上面获得源代码和文档。同时因为数据库结构简单,系统源代码也不是很多,也适合想研究数据库系统开发的专业人士。

  下面是访问SQLite官方网站: http://www.SQLite.org/ 时第一眼看到关于SQLite的特性:

?    ACID事务
?    零配置 – 无需安装和管理配置
?    储存在单一磁盘文件中的一个完整的数据库
?    数据库文件可以在不同字节顺序的机器间自由的共享
?    支持数据库大小至2TB
?    足够小, 大致3万行C代码, 250K
?    比一些流行的数据库在大部分普通数据库操作要快
?    简单, 轻松的API
?    包含TCL绑定, 同时通过Wrapper支持其他语言的绑定
?    良好注释的源代码, 并且有着90%以上的测试覆盖率
?    独立: 没有额外依赖
?    Source完全的Open, 你可以用于任何用途, 包括出售它
?    支持多种开发语言,C, PHP, Perl, Java, ASP.NET,Python

  要使用SQLite,需要从SQLite官网下载到三个文件,分别为SQLite3.a,SQLite3.h,然后再在自己的工程中配置好头文件和库文件,同时将dll文件放到当前目录下,就完成配置可以使用SQLite了。

  使用的过程根据使用的函数大致分为如下几个过程:

?    SQLite3_open()
?    SQLite3_prepare()
?    SQLite3_step()
?    SQLite3_column()
?    SQLite3_finalize()
?    SQLite3_close()

  这几个过程是概念上的说法,而不完全是程序运行的过程,如SQLite3_column()表示的是对查询获得一行里面的数据的列的各个操作统称,实际上在SQLite中并不存在这个函数。

  在操作数据库之前,首先要打开数据库。这个函数打开一个SQLite数据库文件的连接并且返回一个数据库连接对象。这个操作同时程序中的第一个调用的SQLite函数,同时也是其他SQLite api的先决条件。许多的SQLite接口函数都需要一个数据库连接对象的指针作为它们的第一个参数。

intconst char *filename,   /* Database filename (UTF-8) */
  SQLite3 **ppDb          /* OUT: SQLite db handle */
);
intconst void *filename,   /* Database filename (UTF-16) */
  SQLite3 **ppDb          /* OUT: SQLite db handle */
);
intconst char *filename,   /* Database filename (UTF-8) */
  SQLite3 **ppDb,         /* OUT: SQLite db handle */
int flags,              /* Flags */
const char *zVfs        /* Name of VFS module to use */
);

  假如这个要被打开的数据文件不存在,则一个同名的数据库文件将被创建。如果使用SQLite3_open和SQLite3_open_v2的话,数据库将采用UTF-8的编码方式,SQLite3_open16采用UTF-16的编码方式

  如果SQLite数据库被成功打开(或创建),将会返回SQLITE_OK,否则将会返回错误码。SQLite3_errmsg()或者SQLite3_errmsg16可以用于获得数据库打开错误码的英文描述,这两个函数定义为:

const char *SQLite3_errmsg(SQLite3*);
const void *SQLite3_errmsg16(SQLite3*);

  · filename:需要被打开的数据库文件的文件名,在SQLite3_open和SQLite3_open_v2中这个参数采用UTF-8编码,而在SQLite3_open16中则采用UTF-16编码

  · ppDb:一个数据库连接句柄被返回到这个参数,即使发生错误。唯一的一场是如果SQLite不能分配内存来存放SQLite对象,ppDb将会被返回一个NULL值。

  · flags:作为数据库连接的额外控制的参数,可以是SQLITE_OPEN_READONLY,SQLITE_OPEN_READWRITE和SQLITE_OPEN_READWRITE|SQLITE_OPEN_CREATE中的一个,用于控制数据库的打开方式,可以和SQLITE_OPEN_NOMUTEX,SQLITE_OPEN_FULLMUTEX, SQLITE_OPEN_SHAREDCACHE,以及SQLITE_OPEN_PRIVATECACHE结合使用,具体的详细情况可以查阅文档。


  这个函数将sql文本转换成一个准备语句(prepared statement)对象,同时返回这个对象的指针。这个接口需要一个数据库连接指针以及一个要准备的包含SQL语句的文本。它实际上并不执行(evaluate)这个SQL语句,它仅仅为执行准备这个sql语句

int*db,            /* Database handle */
const char *zSql,       /* SQL statement, UTF-8 encoded */
int nByte,              /* Maximum length of zSql in bytes. */
  SQLite3_stmt **ppStmt,  /* OUT: Statement handle */
const char **pzTail     /* OUT: Pointer to unused portion of zSql */
);
int SQLite3_prepare_v2(
  SQLite3 *db,            /* Database handle */
const char *zSql,       /* SQL statement, UTF-8 encoded */
int nByte,              /* Maximum length of zSql in bytes. */
  SQLite3_stmt **ppStmt,  /* OUT: Statement handle */
const char **pzTail     /* OUT: Pointer to unused portion of zSql */
);

  db:数据指针

  zSql:sql语句,使用UTF-8编码

  nByte:如果nByte小于0,则函数取出zSql中从开始到第一个0终止符的内容;如果nByte不是负的,那么它就是这个函数能从zSql中读取的字节数的最大值。如果nBytes非负,zSql在第一次遇见’/000/或’u000’的时候终止

  pzTail:上面提到zSql在遇见终止符或者是达到设定的nByte之后结束,假如zSql还有剩余的内容,那么这些剩余的内容被存放到pZTail中,不包括终止符

  ppStmt:能够使用SQLite3_step()执行的编译好的准备语句的指针,如果错误发生,它被置为NULL,如假如输入的文本不包括sql语句。调用过程必须负责在编译好的sql语句完成使用后使用SQLite3_finalize()删除它。

  如果执行成功,则返回SQLITE_OK,否则返回一个错误码。推荐在现在任何的程序中都使用SQLite3_prepare_v2这个函数,SQLite3_prepare只是用于前向兼容

typedef struct SQLite3_stmt SQLite3_stmt;

  准备语句(prepared statement)对象一个代表一个简单SQL语句对象的实例,这个对象通常被称为“准备语句”或者“编译好的SQL语句”或者就直接称为“语句”。

  语句对象的生命周期经历这样的过程:

?    使用SQLite3_prepare_v2或相关的函数创建这个对象
?    使用SQLite3_bind_*()给宿主参数(host parameters)绑定值
?    通过调用SQLite3_step一次或多次来执行这个sql
?    使用SQLite3——reset()重置这个语句,然后回到第2步,这个过程做0次或多次
?    使用SQLite3_finalize()销毁这个对象

  在SQLite中并没有定义SQLite3_stmt这个结构的具体内容,它只是一个抽象类型,在使用过程中一般以它的指针进行操作,而SQLite3_stmt类型的指针在实际上是一个指向Vdbe的结构体得指针

  在传给SQLite3_prepare_v2()的sql的语句文本或者它的变量中,满足如下模板的文字将被替换成一个参数:

?    ?  ?
?    ?  ?NNN,NNN代表数字
?    ?  :VVV,VVV代表字符
?    ?  @VVV
?    ?  $VVV

  在上面这些模板中,NNN代表一个数字,VVV代表一个字母数字标记符(例如:222表示名称为222的标记符),sql语句中的参数(变量)通过上面的几个模板来指定,如

  “select ? from ? “这个语句中指定了两个参数,SQLite语句中的第一个参数的索引值是1,这就知道这个语句中的两个参数的索引分别为1和2,使用”?”的话会被自动给予索引值,而使用”?NNN”则可以自己指定参数的索引值,它表示这个参数的索引值为NNN。”:VVV”表示一个名为”VVV”的参数,它也有一个索引值,被自动指定。

  可以使用SQLite3_bind_*()来给这些参数绑定值。


  这个过程用于执行有前面SQLite3_prepare创建的准备语句。这个语句执行到结果的第一行可用的位置。继续前进到结果的第二行的话,只需再次调用SQLite3_setp()。继续调用SQLite3_setp()知道这个语句完成,那些不返回结果的语句(如:INSERT,UPDATE,或DELETE),SQLite3_step()只执行一次就返回

int SQLite3_step(SQLite3_stmt*);

  函数的返回值基于创建SQLite3_stmt参数所使用的函数,假如是使用老版本的接口SQLite3_prepare()和SQLite3_prepare16(),返回值会是 SQLITE_BUSY, SQLITE_DONE, SQLITE_ROW, SQLITE_ERROR 或 SQLITE_MISUSE,而v2版本的接口SQLite3_prepare_v2()和SQLite3_prepare16_v2()则会同时返回这些结果码和扩展结果码。

  对所有V3.6.23.1以及其前面的所有版本,需要在SQLite3_step()之后调用SQLite3_reset(),在后续的SQLite3_ step之前。如果调用SQLite3_reset重置准备语句失败,将会导致SQLite3_ step返回SQLITE_MISUSE,但是在V3. 6.23.1以后,SQLite3_step()将会自动调用SQLite3_reset。

int SQLite3_reset(SQLite3_stmt *pStmt);

  SQLite3_reset用于重置一个准备语句对象到它的初始状态,然后准备被重新执行。所有sql语句变量使用SQLite3_bind*绑定值,使用SQLite3_clear_bindings重设这些绑定。SQLite3_reset接口重置准备语句到它代码开始的时候。SQLite3_reset并不改变在准备语句上的任何绑定值,那么这里猜测,可能是语句在被执行的过程中发生了其他的改变,然后这个语句将它重置到绑定值的时候的那个状态。

  SQLite3_column()

  这个过程从执行SQLite3_step()执行一个准备语句得到的结果集的当前行中返回一个列。每次SQLite3_step得到一个结果集的列停下后,这个过程就可以被多次调用去查询这个行的各列的值。对列操作是有多个函数,均以SQLite3_column为前缀:

const void *SQLite3_column_blob(SQLite3_stmt*, int iCol);
int SQLite3_column_bytes(SQLite3_stmt*, int iCol);
int SQLite3_column_bytes16(SQLite3_stmt*, int iCol);
double SQLite3_column_double(SQLite3_stmt*, int iCol);
int SQLite3_column_int(SQLite3_stmt*, int iCol);
SQLite3_int64 SQLite3_column_int64(SQLite3_stmt*, int iCol);
const unsigned char *SQLite3_column_text(SQLite3_stmt*, int iCol);
const void *SQLite3_column_text16(SQLite3_stmt*, int iCol);
int SQLite3_column_type(SQLite3_stmt*, int*SQLite3_column_value(SQLite3_stmt*, int iCol);

  第一个参数为从SQLite3_prepare返回来的prepared statement对象的指针,第二参数指定这一行中的想要被返回的列的索引。最左边的一列的索引号是0,行的列数可以使用SQLite3_colum_count()获得。

  这些过程会根据情况去转换数值的类型,SQLite内部使用SQLite3_snprintf()去自动进行这个转换,下面是关于转换的细节表:

  注:BLOB数据类型是指二进制的数据块,比如要在数据库中存放一张图片,这张图片就会以二进制形式存放,在SQLite中对应的数据类型就是BLOB

  int SQLite3_column_bytes(SQLite3_stmt*, int iCol),int SQLite3_column_bytes16(SQLite3_stmt*, int iCol)两个函数返回对应列的内容的字节数,这个字节数不包括后面类型转换过程中加上的0终止符。

  下面是几个最安全和最简单的使用策略

?    先SQLite3_column_text() ,然后 SQLite3_column_bytes()
?    先SQLite3_column_blob(),然后SQLite3_column_bytes()
?    先SQLite3_column_text16(),然后SQLite3_column_bytes16()
int SQLite3_finalize(SQLite3_stmt *pStmt);

  这个过程销毁前面被SQLite3_prepare创建的准备语句,每个准备语句都必须使用这个函数去销毁以防止内存泄露。

  在空指针上调用这个函数没有什么影响,同时可以准备语句的生命周期的任一时刻调用这个函数:在语句被执行前,一次或多次调用SQLite_reset之后,或者在SQLite3_step任何调用之后不管语句是否完成执行

  这个过程关闭前面使用SQLite3_open打开的数据库连接,任何与这个连接相关的准备语句必须在调用这个关闭函数之前被释放。


  本次测试使用的软硬件环境如下:

  硬件配置:Intel(R) Core(TM) i7 CPU 860 @ 2.80GHz,4核8线程, 内存8GB。

  操作系统: Redhat Enterprise Linux 6.0 X64。

  本次测试为充分展示内存数据库的性能,使用SQLite的内存方式,以嵌入方式来完成测试。

create table Record (id int, i1 int,i2 int,d1 double,d2 double, s1 VARCHAR(30), s2 VARCHAR(30))

  1.单线程

  首先进行单线程的插入测试,向数据库中插入10000000条记录,性能如下:

  单线程插入10000000条记录的耗时为65.6秒,每条记录的花费时间为6.56微秒,每秒处理的记录数为15.2万。

  之后我们增加线程数为4.四个线程同时插入10000000条记录,性能如下:

  四个线程插入10000000条记录的总耗时为125.3秒,平均每条记录耗时12.5微秒,每秒处理8万条数据。

  最后将线程数增加到八个线程,向数据库中添加10000000条记录,每个线程的性能和总体性能如下:

  可以看到8个并发写入10000000条记录所花费的时间大概为152秒,平均每秒可以添加65644条记录。

  插入操作的总体吞吐率:

轻量级开源内存数据库SQLite性能测试-IT168 技术开发专区 - dingchaoqun12 - dingchaoqun12 的博客

  可以看到,插入操作的性能,单个线程并发操作时,吞吐率最大。这是由于SQLite在内存模式时,对于多线程的支持很弱。


  首先进行单线程的更新测试,在数据库中进行10000000次更新,每次更新一条记录的所有字段,性能如下:

  单线程更新10000000条记录的耗时为67秒,每条记录的更新花费时间为6.75微秒,每秒处理的记录数为14.8万。

  之后我们增加线程数为4.

  四个线程同时更新10000000条记录,性能如下:

  四个线程更新10000000条记录的总耗时为124.5秒,平均每条记录耗时12.4微秒,每秒处理8万条数据。

  更新测试是通过八个线程,同时更新数据库中记录,共10000000次操作,每个线程的性能和总体性能如下:

  可以看到8个并发同时更新10000000条记录所花费的时间大概为138秒,平均每秒可以更新72593万条记录。此处的更新为涉及到了每条记录的每个字段。

  更新操作的总体吞吐率:

轻量级开源内存数据库SQLite性能测试-IT168 技术开发专区 - dingchaoqun12 - dingchaoqun12 的博客

  可以看到,更新操作的性能,同样也是单个线程并发操作时,吞吐率最大。


  首先进行单线程的查询测试,在数据库中进行10000000次查找,性能如下:

  单线程进行10000000次查询的耗时为36.2秒,每次查询花费时间为3.6微秒,每秒处理的操作数为27.6万。

  之后我们增加线程数为4.

  四个线程进行10000000次查找操作,性能如下:

  四个线程进行10000000次查找操作的总耗时为79.9秒,平均每条记录耗时7.7微秒,每秒处理13万次查询操作。

  查询测试是通过八个线程,同时查询数据库中记录,共10000000次查询,每个线程的性能和总体性能如下:

  可以看到8个并发同时查询10000000条记录所花费的时间大概为82秒,平均每秒可以进行121909次查询。

  查询操作的总体吞吐率:

轻量级开源内存数据库SQLite性能测试-IT168 技术开发专区 - dingchaoqun12 - dingchaoqun12 的博客

  可以看到,查询操作的性能,同样也是4个线程并发操作时,吞吐率最大。


  首先进行四线程的读写测试,其中2个线程做更新操作,另外两个线程做查询操作,持续运行10秒钟,每个线程的性能和总体性能如下:

  在四个线程进行读写测试时,平均每秒可以进行6.7万次查询,3.7万次更新,总体吞吐率为10.5万。

  读写测试是通过八个线程,其中四个线程持续做更新操作,另外四个线程做查询操作,持续运行10秒中,每个线程的性能和总体性能如下:

  可以看到同时进行读写测试时,平均每秒可以进行8万次查询,2万次更新,总体吞吐率为10万。

  3.总结

  1:1读写操作的总体吞吐率:

轻量级开源内存数据库SQLite性能测试-IT168 技术开发专区 - dingchaoqun12 - dingchaoqun12 的博客

  可以看到,1:1读写操作的性能,4线程与8线程总体吞吐率相近,而更新吞吐率四线程比8线程高,查询吞吐率则正好相反。


  1.单线程

  首先进行单线程的删除测试,在数据库中进行10000000次删除,每次删除一条记录,性能如下:

  单线程进行10000000次删除操作的耗时为68.5秒,每次查询花费时间为6.8微秒,每秒处理的操作数为14.6万。

  之后我们增加线程数为4.

  四个线程进行10000000次删除操作,性能如下:

  四个线程进行10000000次删除操作的总耗时为119秒,平均删除每条记录耗时11.9微秒,每秒处理8.4万次删除操作。

  删除测试是通过八个线程,按照记录ID,同时删除数据库中记录,共10000000个对象,每个线程的性能和总体性能如下:

  可以看到8个并发同时删除10000000条记录所花费的时间大概为124秒,平均每秒可以进行8万次删除。

  查询操作的总体吞吐率:

轻量级开源内存数据库SQLite性能测试-IT168 技术开发专区 - dingchaoqun12 - dingchaoqun12 的博客

  可以看到,删除操作的性能,同样也是单个线程并发操作时,吞吐率最大。

  以上测试都是每次操作都为一个事务,每次操作只涉及一条记录。

  本文总结:

  Sqlite最大的特点在于不成为单独的数据库引擎进程,可以使用Sqlite的函数库,也可以成为一个延伸函数库,如PHP4。并且有很多的第三方GUI管理软件,如SQLiteMan、SQLite Manager等。Sqlite总代码约3W行,并且没有额外依赖,这在开源软件中是比较少见的,Sqlite在随程序编译后,目标程序增量大约为300K,轻量级特性和免费让它在嵌入式设备中尤为受欢迎。

盛拓传媒简介 | 关于IT168 | 合作伙伴 | 广告服务 | 使用条款 | 投稿指南 | 诚聘精英 | 联系我们 | 苹果论坛 | 网站导航 | 往日回顾

办公| 服务器 网络通信 信息化 CU社区 安防监控
存储| IT文库 技术开发 企业安全 打印扫描 虚拟化

轻量级开源内存数据库SQLite性能测试

        【IT168 专稿】SQLite是一款轻型的数据库,它占用资源非常的低,同时能够跟很多程序语言相结合,但是支持的SQL语句不会逊色于其他开源数据库。它的设计目标是嵌入式的,而且目前已经在很多嵌入式产品中使用了它,它占用资源非常的低,在嵌入式设备中,可能只需要几百K的内存就够了。它能够支持Windows/Linux/Unix等等主流的操作系统,同时能够跟很多程序语言相结合,比如Tcl、PHP、Java 等,还有ODBC接口,同样比起Mysql、PostgreSQL这两款开源世界著名的数据库管理系统来讲,它的处理速度比他们都快。

  SQLite虽然很小巧,但是支持的SQL语句不会逊色于其他开源数据库,它支持的SQL包括:

ATTACH DATABASE
BEGIN TRANSACTION
comment
COMMIT TRANSACTION
COPY
CREATE INDEX
CREATE TABLE
CREATE TRIGGER
CREATE VIEW
DELETE
DETACH DATABASE
DROP INDEX
DROP TABLE
DROP TRIGGER
DROP VIEW
END TRANSACTION
EXPLAIN
expression
INSERT
ONREPLACESELECT

  同时它还支持事务处理功能等等。也有人说它象Microsoft的Access,有时候真的觉得有点象,但是事实上它们区别很大。比如SQLite 支持跨平台,操作简单,能够使用很多语言直接创建数据库,而不象Access一样需要Office的支持。如果你是个很小型的应用,或者你想做嵌入式开发,没有合适的数据库系统,那么现在你可以考虑使用SQLite。它的官方网站是:http://www.SQLite.org或者,能在上面获得源代码和文档。同时因为数据库结构简单,系统源代码也不是很多,也适合想研究数据库系统开发的专业人士。

  下面是访问SQLite官方网站: http://www.SQLite.org/ 时第一眼看到关于SQLite的特性:

?    ACID事务
?    零配置 – 无需安装和管理配置
?    储存在单一磁盘文件中的一个完整的数据库
?    数据库文件可以在不同字节顺序的机器间自由的共享
?    支持数据库大小至2TB
?    足够小, 大致3万行C代码, 250K
?    比一些流行的数据库在大部分普通数据库操作要快
?    简单, 轻松的API
?    包含TCL绑定, 同时通过Wrapper支持其他语言的绑定
?    良好注释的源代码, 并且有着90%以上的测试覆盖率
?    独立: 没有额外依赖
?    Source完全的Open, 你可以用于任何用途, 包括出售它
?    支持多种开发语言,C, PHP, Perl, Java, ASP.NET,Python

  要使用SQLite,需要从SQLite官网下载到三个文件,分别为SQLite3.a,SQLite3.h,然后再在自己的工程中配置好头文件和库文件,同时将dll文件放到当前目录下,就完成配置可以使用SQLite了。

  使用的过程根据使用的函数大致分为如下几个过程:

?    SQLite3_open()
?    SQLite3_prepare()
?    SQLite3_step()
?    SQLite3_column()
?    SQLite3_finalize()
?    SQLite3_close()

  这几个过程是概念上的说法,而不完全是程序运行的过程,如SQLite3_column()表示的是对查询获得一行里面的数据的列的各个操作统称,实际上在SQLite中并不存在这个函数。

  在操作数据库之前,首先要打开数据库。这个函数打开一个SQLite数据库文件的连接并且返回一个数据库连接对象。这个操作同时程序中的第一个调用的SQLite函数,同时也是其他SQLite api的先决条件。许多的SQLite接口函数都需要一个数据库连接对象的指针作为它们的第一个参数。

intconst char *filename,   /* Database filename (UTF-8) */
  SQLite3 **ppDb          /* OUT: SQLite db handle */
);
intconst void *filename,   /* Database filename (UTF-16) */
  SQLite3 **ppDb          /* OUT: SQLite db handle */
);
intconst char *filename,   /* Database filename (UTF-8) */
  SQLite3 **ppDb,         /* OUT: SQLite db handle */
int flags,              /* Flags */
const char *zVfs        /* Name of VFS module to use */
);

  假如这个要被打开的数据文件不存在,则一个同名的数据库文件将被创建。如果使用SQLite3_open和SQLite3_open_v2的话,数据库将采用UTF-8的编码方式,SQLite3_open16采用UTF-16的编码方式

  如果SQLite数据库被成功打开(或创建),将会返回SQLITE_OK,否则将会返回错误码。SQLite3_errmsg()或者SQLite3_errmsg16可以用于获得数据库打开错误码的英文描述,这两个函数定义为:

const char *SQLite3_errmsg(SQLite3*);
const void *SQLite3_errmsg16(SQLite3*);

  · filename:需要被打开的数据库文件的文件名,在SQLite3_open和SQLite3_open_v2中这个参数采用UTF-8编码,而在SQLite3_open16中则采用UTF-16编码

  · ppDb:一个数据库连接句柄被返回到这个参数,即使发生错误。唯一的一场是如果SQLite不能分配内存来存放SQLite对象,ppDb将会被返回一个NULL值。

  · flags:作为数据库连接的额外控制的参数,可以是SQLITE_OPEN_READONLY,SQLITE_OPEN_READWRITE和SQLITE_OPEN_READWRITE|SQLITE_OPEN_CREATE中的一个,用于控制数据库的打开方式,可以和SQLITE_OPEN_NOMUTEX,SQLITE_OPEN_FULLMUTEX, SQLITE_OPEN_SHAREDCACHE,以及SQLITE_OPEN_PRIVATECACHE结合使用,具体的详细情况可以查阅文档。


  这个函数将sql文本转换成一个准备语句(prepared statement)对象,同时返回这个对象的指针。这个接口需要一个数据库连接指针以及一个要准备的包含SQL语句的文本。它实际上并不执行(evaluate)这个SQL语句,它仅仅为执行准备这个sql语句

int*db,            /* Database handle */
const char *zSql,       /* SQL statement, UTF-8 encoded */
int nByte,              /* Maximum length of zSql in bytes. */
  SQLite3_stmt **ppStmt,  /* OUT: Statement handle */
const char **pzTail     /* OUT: Pointer to unused portion of zSql */
);
int SQLite3_prepare_v2(
  SQLite3 *db,            /* Database handle */
const char *zSql,       /* SQL statement, UTF-8 encoded */
int nByte,              /* Maximum length of zSql in bytes. */
  SQLite3_stmt **ppStmt,  /* OUT: Statement handle */
const char **pzTail     /* OUT: Pointer to unused portion of zSql */
);

  db:数据指针

  zSql:sql语句,使用UTF-8编码

  nByte:如果nByte小于0,则函数取出zSql中从开始到第一个0终止符的内容;如果nByte不是负的,那么它就是这个函数能从zSql中读取的字节数的最大值。如果nBytes非负,zSql在第一次遇见’/000/或’u000’的时候终止

  pzTail:上面提到zSql在遇见终止符或者是达到设定的nByte之后结束,假如zSql还有剩余的内容,那么这些剩余的内容被存放到pZTail中,不包括终止符

  ppStmt:能够使用SQLite3_step()执行的编译好的准备语句的指针,如果错误发生,它被置为NULL,如假如输入的文本不包括sql语句。调用过程必须负责在编译好的sql语句完成使用后使用SQLite3_finalize()删除它。

  如果执行成功,则返回SQLITE_OK,否则返回一个错误码。推荐在现在任何的程序中都使用SQLite3_prepare_v2这个函数,SQLite3_prepare只是用于前向兼容

typedef struct SQLite3_stmt SQLite3_stmt;

  准备语句(prepared statement)对象一个代表一个简单SQL语句对象的实例,这个对象通常被称为“准备语句”或者“编译好的SQL语句”或者就直接称为“语句”。

  语句对象的生命周期经历这样的过程:

?    使用SQLite3_prepare_v2或相关的函数创建这个对象
?    使用SQLite3_bind_*()给宿主参数(host parameters)绑定值
?    通过调用SQLite3_step一次或多次来执行这个sql
?    使用SQLite3——reset()重置这个语句,然后回到第2步,这个过程做0次或多次
?    使用SQLite3_finalize()销毁这个对象

  在SQLite中并没有定义SQLite3_stmt这个结构的具体内容,它只是一个抽象类型,在使用过程中一般以它的指针进行操作,而SQLite3_stmt类型的指针在实际上是一个指向Vdbe的结构体得指针

  在传给SQLite3_prepare_v2()的sql的语句文本或者它的变量中,满足如下模板的文字将被替换成一个参数:

?    ?  ?
?    ?  ?NNN,NNN代表数字
?    ?  :VVV,VVV代表字符
?    ?  @VVV
?    ?  $VVV

  在上面这些模板中,NNN代表一个数字,VVV代表一个字母数字标记符(例如:222表示名称为222的标记符),sql语句中的参数(变量)通过上面的几个模板来指定,如

  “select ? from ? “这个语句中指定了两个参数,SQLite语句中的第一个参数的索引值是1,这就知道这个语句中的两个参数的索引分别为1和2,使用”?”的话会被自动给予索引值,而使用”?NNN”则可以自己指定参数的索引值,它表示这个参数的索引值为NNN。”:VVV”表示一个名为”VVV”的参数,它也有一个索引值,被自动指定。

  可以使用SQLite3_bind_*()来给这些参数绑定值。


  这个过程用于执行有前面SQLite3_prepare创建的准备语句。这个语句执行到结果的第一行可用的位置。继续前进到结果的第二行的话,只需再次调用SQLite3_setp()。继续调用SQLite3_setp()知道这个语句完成,那些不返回结果的语句(如:INSERT,UPDATE,或DELETE),SQLite3_step()只执行一次就返回

int SQLite3_step(SQLite3_stmt*);

  函数的返回值基于创建SQLite3_stmt参数所使用的函数,假如是使用老版本的接口SQLite3_prepare()和SQLite3_prepare16(),返回值会是 SQLITE_BUSY, SQLITE_DONE, SQLITE_ROW, SQLITE_ERROR 或 SQLITE_MISUSE,而v2版本的接口SQLite3_prepare_v2()和SQLite3_prepare16_v2()则会同时返回这些结果码和扩展结果码。

  对所有V3.6.23.1以及其前面的所有版本,需要在SQLite3_step()之后调用SQLite3_reset(),在后续的SQLite3_ step之前。如果调用SQLite3_reset重置准备语句失败,将会导致SQLite3_ step返回SQLITE_MISUSE,但是在V3. 6.23.1以后,SQLite3_step()将会自动调用SQLite3_reset。

int SQLite3_reset(SQLite3_stmt *pStmt);

  SQLite3_reset用于重置一个准备语句对象到它的初始状态,然后准备被重新执行。所有sql语句变量使用SQLite3_bind*绑定值,使用SQLite3_clear_bindings重设这些绑定。SQLite3_reset接口重置准备语句到它代码开始的时候。SQLite3_reset并不改变在准备语句上的任何绑定值,那么这里猜测,可能是语句在被执行的过程中发生了其他的改变,然后这个语句将它重置到绑定值的时候的那个状态。

  SQLite3_column()

  这个过程从执行SQLite3_step()执行一个准备语句得到的结果集的当前行中返回一个列。每次SQLite3_step得到一个结果集的列停下后,这个过程就可以被多次调用去查询这个行的各列的值。对列操作是有多个函数,均以SQLite3_column为前缀:

const void *SQLite3_column_blob(SQLite3_stmt*, int iCol);
int SQLite3_column_bytes(SQLite3_stmt*, int iCol);
int SQLite3_column_bytes16(SQLite3_stmt*, int iCol);
double SQLite3_column_double(SQLite3_stmt*, int iCol);
int SQLite3_column_int(SQLite3_stmt*, int iCol);
SQLite3_int64 SQLite3_column_int64(SQLite3_stmt*, int iCol);
const unsigned char *SQLite3_column_text(SQLite3_stmt*, int iCol);
const void *SQLite3_column_text16(SQLite3_stmt*, int iCol);
int SQLite3_column_type(SQLite3_stmt*, int*SQLite3_column_value(SQLite3_stmt*, int iCol);

  第一个参数为从SQLite3_prepare返回来的prepared statement对象的指针,第二参数指定这一行中的想要被返回的列的索引。最左边的一列的索引号是0,行的列数可以使用SQLite3_colum_count()获得。

  这些过程会根据情况去转换数值的类型,SQLite内部使用SQLite3_snprintf()去自动进行这个转换,下面是关于转换的细节表:

  注:BLOB数据类型是指二进制的数据块,比如要在数据库中存放一张图片,这张图片就会以二进制形式存放,在SQLite中对应的数据类型就是BLOB

  int SQLite3_column_bytes(SQLite3_stmt*, int iCol),int SQLite3_column_bytes16(SQLite3_stmt*, int iCol)两个函数返回对应列的内容的字节数,这个字节数不包括后面类型转换过程中加上的0终止符。

  下面是几个最安全和最简单的使用策略

?    先SQLite3_column_text() ,然后 SQLite3_column_bytes()
?    先SQLite3_column_blob(),然后SQLite3_column_bytes()
?    先SQLite3_column_text16(),然后SQLite3_column_bytes16()
int SQLite3_finalize(SQLite3_stmt *pStmt);

  这个过程销毁前面被SQLite3_prepare创建的准备语句,每个准备语句都必须使用这个函数去销毁以防止内存泄露。

  在空指针上调用这个函数没有什么影响,同时可以准备语句的生命周期的任一时刻调用这个函数:在语句被执行前,一次或多次调用SQLite_reset之后,或者在SQLite3_step任何调用之后不管语句是否完成执行

  这个过程关闭前面使用SQLite3_open打开的数据库连接,任何与这个连接相关的准备语句必须在调用这个关闭函数之前被释放。


  本次测试使用的软硬件环境如下:

  硬件配置:Intel(R) Core(TM) i7 CPU 860 @ 2.80GHz,4核8线程, 内存8GB。

  操作系统: Redhat Enterprise Linux 6.0 X64。

  本次测试为充分展示内存数据库的性能,使用SQLite的内存方式,以嵌入方式来完成测试。

create table Record (id int, i1 int,i2 int,d1 double,d2 double, s1 VARCHAR(30), s2 VARCHAR(30))

  1.单线程

  首先进行单线程的插入测试,向数据库中插入10000000条记录,性能如下:

  单线程插入10000000条记录的耗时为65.6秒,每条记录的花费时间为6.56微秒,每秒处理的记录数为15.2万。

  之后我们增加线程数为4.四个线程同时插入10000000条记录,性能如下:

  四个线程插入10000000条记录的总耗时为125.3秒,平均每条记录耗时12.5微秒,每秒处理8万条数据。

  最后将线程数增加到八个线程,向数据库中添加10000000条记录,每个线程的性能和总体性能如下:

  可以看到8个并发写入10000000条记录所花费的时间大概为152秒,平均每秒可以添加65644条记录。

  插入操作的总体吞吐率:

轻量级开源内存数据库SQLite性能测试-IT168 技术开发专区 - dingchaoqun12 - dingchaoqun12 的博客

  可以看到,插入操作的性能,单个线程并发操作时,吞吐率最大。这是由于SQLite在内存模式时,对于多线程的支持很弱。


  首先进行单线程的更新测试,在数据库中进行10000000次更新,每次更新一条记录的所有字段,性能如下:

  单线程更新10000000条记录的耗时为67秒,每条记录的更新花费时间为6.75微秒,每秒处理的记录数为14.8万。

  之后我们增加线程数为4.

  四个线程同时更新10000000条记录,性能如下:

  四个线程更新10000000条记录的总耗时为124.5秒,平均每条记录耗时12.4微秒,每秒处理8万条数据。

  更新测试是通过八个线程,同时更新数据库中记录,共10000000次操作,每个线程的性能和总体性能如下:

  可以看到8个并发同时更新10000000条记录所花费的时间大概为138秒,平均每秒可以更新72593万条记录。此处的更新为涉及到了每条记录的每个字段。

  更新操作的总体吞吐率:

轻量级开源内存数据库SQLite性能测试-IT168 技术开发专区 - dingchaoqun12 - dingchaoqun12 的博客

  可以看到,更新操作的性能,同样也是单个线程并发操作时,吞吐率最大。


  首先进行单线程的查询测试,在数据库中进行10000000次查找,性能如下:

  单线程进行10000000次查询的耗时为36.2秒,每次查询花费时间为3.6微秒,每秒处理的操作数为27.6万。

  之后我们增加线程数为4.

  四个线程进行10000000次查找操作,性能如下:

  四个线程进行10000000次查找操作的总耗时为79.9秒,平均每条记录耗时7.7微秒,每秒处理13万次查询操作。

  查询测试是通过八个线程,同时查询数据库中记录,共10000000次查询,每个线程的性能和总体性能如下:

  可以看到8个并发同时查询10000000条记录所花费的时间大概为82秒,平均每秒可以进行121909次查询。

  查询操作的总体吞吐率:

轻量级开源内存数据库SQLite性能测试-IT168 技术开发专区 - dingchaoqun12 - dingchaoqun12 的博客

  可以看到,查询操作的性能,同样也是4个线程并发操作时,吞吐率最大。


  首先进行四线程的读写测试,其中2个线程做更新操作,另外两个线程做查询操作,持续运行10秒钟,每个线程的性能和总体性能如下:

  在四个线程进行读写测试时,平均每秒可以进行6.7万次查询,3.7万次更新,总体吞吐率为10.5万。

  读写测试是通过八个线程,其中四个线程持续做更新操作,另外四个线程做查询操作,持续运行10秒中,每个线程的性能和总体性能如下:

  可以看到同时进行读写测试时,平均每秒可以进行8万次查询,2万次更新,总体吞吐率为10万。

  3.总结

  1:1读写操作的总体吞吐率:

轻量级开源内存数据库SQLite性能测试-IT168 技术开发专区 - dingchaoqun12 - dingchaoqun12 的博客

  可以看到,1:1读写操作的性能,4线程与8线程总体吞吐率相近,而更新吞吐率四线程比8线程高,查询吞吐率则正好相反。


  1.单线程

  首先进行单线程的删除测试,在数据库中进行10000000次删除,每次删除一条记录,性能如下:

  单线程进行10000000次删除操作的耗时为68.5秒,每次查询花费时间为6.8微秒,每秒处理的操作数为14.6万。

  之后我们增加线程数为4.

  四个线程进行10000000次删除操作,性能如下:

  四个线程进行10000000次删除操作的总耗时为119秒,平均删除每条记录耗时11.9微秒,每秒处理8.4万次删除操作。

  删除测试是通过八个线程,按照记录ID,同时删除数据库中记录,共10000000个对象,每个线程的性能和总体性能如下:

  可以看到8个并发同时删除10000000条记录所花费的时间大概为124秒,平均每秒可以进行8万次删除。

  查询操作的总体吞吐率:

轻量级开源内存数据库SQLite性能测试-IT168 技术开发专区 - dingchaoqun12 - dingchaoqun12 的博客

  可以看到,删除操作的性能,同样也是单个线程并发操作时,吞吐率最大。

  以上测试都是每次操作都为一个事务,每次操作只涉及一条记录。

  本文总结:

  Sqlite最大的特点在于不成为单独的数据库引擎进程,可以使用Sqlite的函数库,也可以成为一个延伸函数库,如PHP4。并且有很多的第三方GUI管理软件,如SQLiteMan、SQLite Manager等。Sqlite总代码约3W行,并且没有额外依赖,这在开源软件中是比较少见的,Sqlite在随程序编译后,目标程序增量大约为300K,轻量级特性和免费让它在嵌入式设备中尤为受欢迎。

盛拓传媒简介 | 关于IT168 | 合作伙伴 | 广告服务 | 使用条款 | 投稿指南 | 诚聘精英 | 联系我们 | 苹果论坛 | 网站导航 | 往日回顾

轻量级开源内存数据库SQLite性能测试

        【IT168 专稿】SQLite是一款轻型的数据库,它占用资源非常的低,同时能够跟很多程序语言相结合,但是支持的SQL语句不会逊色于其他开源数据库。它的设计目标是嵌入式的,而且目前已经在很多嵌入式产品中使用了它,它占用资源非常的低,在嵌入式设备中,可能只需要几百K的内存就够了。它能够支持Windows/Linux/Unix等等主流的操作系统,同时能够跟很多程序语言相结合,比如Tcl、PHP、Java 等,还有ODBC接口,同样比起Mysql、PostgreSQL这两款开源世界著名的数据库管理系统来讲,它的处理速度比他们都快。

  SQLite虽然很小巧,但是支持的SQL语句不会逊色于其他开源数据库,它支持的SQL包括:

ATTACH DATABASE
BEGIN TRANSACTION
comment
COMMIT TRANSACTION
COPY
CREATE INDEX
CREATE TABLE
CREATE TRIGGER
CREATE VIEW
DELETE
DETACH DATABASE
DROP INDEX
DROP TABLE
DROP TRIGGER
DROP VIEW
END TRANSACTION
EXPLAIN
expression
INSERT
ONREPLACESELECT

  同时它还支持事务处理功能等等。也有人说它象Microsoft的Access,有时候真的觉得有点象,但是事实上它们区别很大。比如SQLite 支持跨平台,操作简单,能够使用很多语言直接创建数据库,而不象Access一样需要Office的支持。如果你是个很小型的应用,或者你想做嵌入式开发,没有合适的数据库系统,那么现在你可以考虑使用SQLite。它的官方网站是:http://www.SQLite.org或者,能在上面获得源代码和文档。同时因为数据库结构简单,系统源代码也不是很多,也适合想研究数据库系统开发的专业人士。

  下面是访问SQLite官方网站: http://www.SQLite.org/ 时第一眼看到关于SQLite的特性:

?    ACID事务
?    零配置 – 无需安装和管理配置
?    储存在单一磁盘文件中的一个完整的数据库
?    数据库文件可以在不同字节顺序的机器间自由的共享
?    支持数据库大小至2TB
?    足够小, 大致3万行C代码, 250K
?    比一些流行的数据库在大部分普通数据库操作要快
?    简单, 轻松的API
?    包含TCL绑定, 同时通过Wrapper支持其他语言的绑定
?    良好注释的源代码, 并且有着90%以上的测试覆盖率
?    独立: 没有额外依赖
?    Source完全的Open, 你可以用于任何用途, 包括出售它
?    支持多种开发语言,C, PHP, Perl, Java, ASP.NET,Python

  要使用SQLite,需要从SQLite官网下载到三个文件,分别为SQLite3.a,SQLite3.h,然后再在自己的工程中配置好头文件和库文件,同时将dll文件放到当前目录下,就完成配置可以使用SQLite了。

  使用的过程根据使用的函数大致分为如下几个过程:

?    SQLite3_open()
?    SQLite3_prepare()
?    SQLite3_step()
?    SQLite3_column()
?    SQLite3_finalize()
?    SQLite3_close()

  这几个过程是概念上的说法,而不完全是程序运行的过程,如SQLite3_column()表示的是对查询获得一行里面的数据的列的各个操作统称,实际上在SQLite中并不存在这个函数。

  在操作数据库之前,首先要打开数据库。这个函数打开一个SQLite数据库文件的连接并且返回一个数据库连接对象。这个操作同时程序中的第一个调用的SQLite函数,同时也是其他SQLite api的先决条件。许多的SQLite接口函数都需要一个数据库连接对象的指针作为它们的第一个参数。

intconst char *filename,   /* Database filename (UTF-8) */
  SQLite3 **ppDb          /* OUT: SQLite db handle */
);
intconst void *filename,   /* Database filename (UTF-16) */
  SQLite3 **ppDb          /* OUT: SQLite db handle */
);
intconst char *filename,   /* Database filename (UTF-8) */
  SQLite3 **ppDb,         /* OUT: SQLite db handle */
int flags,              /* Flags */
const char *zVfs        /* Name of VFS module to use */
);

  假如这个要被打开的数据文件不存在,则一个同名的数据库文件将被创建。如果使用SQLite3_open和SQLite3_open_v2的话,数据库将采用UTF-8的编码方式,SQLite3_open16采用UTF-16的编码方式

  如果SQLite数据库被成功打开(或创建),将会返回SQLITE_OK,否则将会返回错误码。SQLite3_errmsg()或者SQLite3_errmsg16可以用于获得数据库打开错误码的英文描述,这两个函数定义为:

const char *SQLite3_errmsg(SQLite3*);
const void *SQLite3_errmsg16(SQLite3*);

  · filename:需要被打开的数据库文件的文件名,在SQLite3_open和SQLite3_open_v2中这个参数采用UTF-8编码,而在SQLite3_open16中则采用UTF-16编码

  · ppDb:一个数据库连接句柄被返回到这个参数,即使发生错误。唯一的一场是如果SQLite不能分配内存来存放SQLite对象,ppDb将会被返回一个NULL值。

  · flags:作为数据库连接的额外控制的参数,可以是SQLITE_OPEN_READONLY,SQLITE_OPEN_READWRITE和SQLITE_OPEN_READWRITE|SQLITE_OPEN_CREATE中的一个,用于控制数据库的打开方式,可以和SQLITE_OPEN_NOMUTEX,SQLITE_OPEN_FULLMUTEX, SQLITE_OPEN_SHAREDCACHE,以及SQLITE_OPEN_PRIVATECACHE结合使用,具体的详细情况可以查阅文档。


  这个函数将sql文本转换成一个准备语句(prepared statement)对象,同时返回这个对象的指针。这个接口需要一个数据库连接指针以及一个要准备的包含SQL语句的文本。它实际上并不执行(evaluate)这个SQL语句,它仅仅为执行准备这个sql语句

int*db,            /* Database handle */
const char *zSql,       /* SQL statement, UTF-8 encoded */
int nByte,              /* Maximum length of zSql in bytes. */
  SQLite3_stmt **ppStmt,  /* OUT: Statement handle */
const char **pzTail     /* OUT: Pointer to unused portion of zSql */
);
int SQLite3_prepare_v2(
  SQLite3 *db,            /* Database handle */
const char *zSql,       /* SQL statement, UTF-8 encoded */
int nByte,              /* Maximum length of zSql in bytes. */
  SQLite3_stmt **ppStmt,  /* OUT: Statement handle */
const char **pzTail     /* OUT: Pointer to unused portion of zSql */
);

  db:数据指针

  zSql:sql语句,使用UTF-8编码

  nByte:如果nByte小于0,则函数取出zSql中从开始到第一个0终止符的内容;如果nByte不是负的,那么它就是这个函数能从zSql中读取的字节数的最大值。如果nBytes非负,zSql在第一次遇见’/000/或’u000’的时候终止

  pzTail:上面提到zSql在遇见终止符或者是达到设定的nByte之后结束,假如zSql还有剩余的内容,那么这些剩余的内容被存放到pZTail中,不包括终止符

  ppStmt:能够使用SQLite3_step()执行的编译好的准备语句的指针,如果错误发生,它被置为NULL,如假如输入的文本不包括sql语句。调用过程必须负责在编译好的sql语句完成使用后使用SQLite3_finalize()删除它。

  如果执行成功,则返回SQLITE_OK,否则返回一个错误码。推荐在现在任何的程序中都使用SQLite3_prepare_v2这个函数,SQLite3_prepare只是用于前向兼容

typedef struct SQLite3_stmt SQLite3_stmt;

  准备语句(prepared statement)对象一个代表一个简单SQL语句对象的实例,这个对象通常被称为“准备语句”或者“编译好的SQL语句”或者就直接称为“语句”。

  语句对象的生命周期经历这样的过程:

?    使用SQLite3_prepare_v2或相关的函数创建这个对象
?    使用SQLite3_bind_*()给宿主参数(host parameters)绑定值
?    通过调用SQLite3_step一次或多次来执行这个sql
?    使用SQLite3——reset()重置这个语句,然后回到第2步,这个过程做0次或多次
?    使用SQLite3_finalize()销毁这个对象

  在SQLite中并没有定义SQLite3_stmt这个结构的具体内容,它只是一个抽象类型,在使用过程中一般以它的指针进行操作,而SQLite3_stmt类型的指针在实际上是一个指向Vdbe的结构体得指针

  在传给SQLite3_prepare_v2()的sql的语句文本或者它的变量中,满足如下模板的文字将被替换成一个参数:

?    ?  ?
?    ?  ?NNN,NNN代表数字
?    ?  :VVV,VVV代表字符
?    ?  @VVV
?    ?  $VVV

  在上面这些模板中,NNN代表一个数字,VVV代表一个字母数字标记符(例如:222表示名称为222的标记符),sql语句中的参数(变量)通过上面的几个模板来指定,如

  “select ? from ? “这个语句中指定了两个参数,SQLite语句中的第一个参数的索引值是1,这就知道这个语句中的两个参数的索引分别为1和2,使用”?”的话会被自动给予索引值,而使用”?NNN”则可以自己指定参数的索引值,它表示这个参数的索引值为NNN。”:VVV”表示一个名为”VVV”的参数,它也有一个索引值,被自动指定。

  可以使用SQLite3_bind_*()来给这些参数绑定值。


  这个过程用于执行有前面SQLite3_prepare创建的准备语句。这个语句执行到结果的第一行可用的位置。继续前进到结果的第二行的话,只需再次调用SQLite3_setp()。继续调用SQLite3_setp()知道这个语句完成,那些不返回结果的语句(如:INSERT,UPDATE,或DELETE),SQLite3_step()只执行一次就返回

int SQLite3_step(SQLite3_stmt*);

  函数的返回值基于创建SQLite3_stmt参数所使用的函数,假如是使用老版本的接口SQLite3_prepare()和SQLite3_prepare16(),返回值会是 SQLITE_BUSY, SQLITE_DONE, SQLITE_ROW, SQLITE_ERROR 或 SQLITE_MISUSE,而v2版本的接口SQLite3_prepare_v2()和SQLite3_prepare16_v2()则会同时返回这些结果码和扩展结果码。

  对所有V3.6.23.1以及其前面的所有版本,需要在SQLite3_step()之后调用SQLite3_reset(),在后续的SQLite3_ step之前。如果调用SQLite3_reset重置准备语句失败,将会导致SQLite3_ step返回SQLITE_MISUSE,但是在V3. 6.23.1以后,SQLite3_step()将会自动调用SQLite3_reset。

int SQLite3_reset(SQLite3_stmt *pStmt);

  SQLite3_reset用于重置一个准备语句对象到它的初始状态,然后准备被重新执行。所有sql语句变量使用SQLite3_bind*绑定值,使用SQLite3_clear_bindings重设这些绑定。SQLite3_reset接口重置准备语句到它代码开始的时候。SQLite3_reset并不改变在准备语句上的任何绑定值,那么这里猜测,可能是语句在被执行的过程中发生了其他的改变,然后这个语句将它重置到绑定值的时候的那个状态。

  SQLite3_column()

  这个过程从执行SQLite3_step()执行一个准备语句得到的结果集的当前行中返回一个列。每次SQLite3_step得到一个结果集的列停下后,这个过程就可以被多次调用去查询这个行的各列的值。对列操作是有多个函数,均以SQLite3_column为前缀:

const void *SQLite3_column_blob(SQLite3_stmt*, int iCol);
int SQLite3_column_bytes(SQLite3_stmt*, int iCol);
int SQLite3_column_bytes16(SQLite3_stmt*, int iCol);
double SQLite3_column_double(SQLite3_stmt*, int iCol);
int SQLite3_column_int(SQLite3_stmt*, int iCol);
SQLite3_int64 SQLite3_column_int64(SQLite3_stmt*, int iCol);
const unsigned char *SQLite3_column_text(SQLite3_stmt*, int iCol);
const void *SQLite3_column_text16(SQLite3_stmt*, int iCol);
int SQLite3_column_type(SQLite3_stmt*, int*SQLite3_column_value(SQLite3_stmt*, int iCol);

  第一个参数为从SQLite3_prepare返回来的prepared statement对象的指针,第二参数指定这一行中的想要被返回的列的索引。最左边的一列的索引号是0,行的列数可以使用SQLite3_colum_count()获得。

  这些过程会根据情况去转换数值的类型,SQLite内部使用SQLite3_snprintf()去自动进行这个转换,下面是关于转换的细节表:

  注:BLOB数据类型是指二进制的数据块,比如要在数据库中存放一张图片,这张图片就会以二进制形式存放,在SQLite中对应的数据类型就是BLOB

  int SQLite3_column_bytes(SQLite3_stmt*, int iCol),int SQLite3_column_bytes16(SQLite3_stmt*, int iCol)两个函数返回对应列的内容的字节数,这个字节数不包括后面类型转换过程中加上的0终止符。

  下面是几个最安全和最简单的使用策略

?    先SQLite3_column_text() ,然后 SQLite3_column_bytes()
?    先SQLite3_column_blob(),然后SQLite3_column_bytes()
?    先SQLite3_column_text16(),然后SQLite3_column_bytes16()
int SQLite3_finalize(SQLite3_stmt *pStmt);

  这个过程销毁前面被SQLite3_prepare创建的准备语句,每个准备语句都必须使用这个函数去销毁以防止内存泄露。

  在空指针上调用这个函数没有什么影响,同时可以准备语句的生命周期的任一时刻调用这个函数:在语句被执行前,一次或多次调用SQLite_reset之后,或者在SQLite3_step任何调用之后不管语句是否完成执行

  这个过程关闭前面使用SQLite3_open打开的数据库连接,任何与这个连接相关的准备语句必须在调用这个关闭函数之前被释放。


  本次测试使用的软硬件环境如下:

  硬件配置:Intel(R) Core(TM) i7 CPU 860 @ 2.80GHz,4核8线程, 内存8GB。

  操作系统: Redhat Enterprise Linux 6.0 X64。

  本次测试为充分展示内存数据库的性能,使用SQLite的内存方式,以嵌入方式来完成测试。

create table Record (id int, i1 int,i2 int,d1 double,d2 double, s1 VARCHAR(30), s2 VARCHAR(30))

  1.单线程

  首先进行单线程的插入测试,向数据库中插入10000000条记录,性能如下:

  单线程插入10000000条记录的耗时为65.6秒,每条记录的花费时间为6.56微秒,每秒处理的记录数为15.2万。

  之后我们增加线程数为4.四个线程同时插入10000000条记录,性能如下:

  四个线程插入10000000条记录的总耗时为125.3秒,平均每条记录耗时12.5微秒,每秒处理8万条数据。

  最后将线程数增加到八个线程,向数据库中添加10000000条记录,每个线程的性能和总体性能如下:

  可以看到8个并发写入10000000条记录所花费的时间大概为152秒,平均每秒可以添加65644条记录。

  插入操作的总体吞吐率:

轻量级开源内存数据库SQLite性能测试-IT168 技术开发专区 - dingchaoqun12 - dingchaoqun12 的博客

  可以看到,插入操作的性能,单个线程并发操作时,吞吐率最大。这是由于SQLite在内存模式时,对于多线程的支持很弱。


  首先进行单线程的更新测试,在数据库中进行10000000次更新,每次更新一条记录的所有字段,性能如下:

  单线程更新10000000条记录的耗时为67秒,每条记录的更新花费时间为6.75微秒,每秒处理的记录数为14.8万。

  之后我们增加线程数为4.

  四个线程同时更新10000000条记录,性能如下:

  四个线程更新10000000条记录的总耗时为124.5秒,平均每条记录耗时12.4微秒,每秒处理8万条数据。

  更新测试是通过八个线程,同时更新数据库中记录,共10000000次操作,每个线程的性能和总体性能如下:

  可以看到8个并发同时更新10000000条记录所花费的时间大概为138秒,平均每秒可以更新72593万条记录。此处的更新为涉及到了每条记录的每个字段。

  更新操作的总体吞吐率:

轻量级开源内存数据库SQLite性能测试-IT168 技术开发专区 - dingchaoqun12 - dingchaoqun12 的博客

  可以看到,更新操作的性能,同样也是单个线程并发操作时,吞吐率最大。


  首先进行单线程的查询测试,在数据库中进行10000000次查找,性能如下:

  单线程进行10000000次查询的耗时为36.2秒,每次查询花费时间为3.6微秒,每秒处理的操作数为27.6万。

  之后我们增加线程数为4.

  四个线程进行10000000次查找操作,性能如下:

  四个线程进行10000000次查找操作的总耗时为79.9秒,平均每条记录耗时7.7微秒,每秒处理13万次查询操作。

  查询测试是通过八个线程,同时查询数据库中记录,共10000000次查询,每个线程的性能和总体性能如下:

  可以看到8个并发同时查询10000000条记录所花费的时间大概为82秒,平均每秒可以进行121909次查询。

  查询操作的总体吞吐率:

轻量级开源内存数据库SQLite性能测试-IT168 技术开发专区 - dingchaoqun12 - dingchaoqun12 的博客

  可以看到,查询操作的性能,同样也是4个线程并发操作时,吞吐率最大。


  首先进行四线程的读写测试,其中2个线程做更新操作,另外两个线程做查询操作,持续运行10秒钟,每个线程的性能和总体性能如下:

  在四个线程进行读写测试时,平均每秒可以进行6.7万次查询,3.7万次更新,总体吞吐率为10.5万。

  读写测试是通过八个线程,其中四个线程持续做更新操作,另外四个线程做查询操作,持续运行10秒中,每个线程的性能和总体性能如下:

  可以看到同时进行读写测试时,平均每秒可以进行8万次查询,2万次更新,总体吞吐率为10万。

  3.总结

  1:1读写操作的总体吞吐率:

轻量级开源内存数据库SQLite性能测试-IT168 技术开发专区 - dingchaoqun12 - dingchaoqun12 的博客

  可以看到,1:1读写操作的性能,4线程与8线程总体吞吐率相近,而更新吞吐率四线程比8线程高,查询吞吐率则正好相反。


  1.单线程

  首先进行单线程的删除测试,在数据库中进行10000000次删除,每次删除一条记录,性能如下:

  单线程进行10000000次删除操作的耗时为68.5秒,每次查询花费时间为6.8微秒,每秒处理的操作数为14.6万。

  之后我们增加线程数为4.

  四个线程进行10000000次删除操作,性能如下:

  四个线程进行10000000次删除操作的总耗时为119秒,平均删除每条记录耗时11.9微秒,每秒处理8.4万次删除操作。

  删除测试是通过八个线程,按照记录ID,同时删除数据库中记录,共10000000个对象,每个线程的性能和总体性能如下:

  可以看到8个并发同时删除10000000条记录所花费的时间大概为124秒,平均每秒可以进行8万次删除。

  查询操作的总体吞吐率:

轻量级开源内存数据库SQLite性能测试-IT168 技术开发专区 - dingchaoqun12 - dingchaoqun12 的博客

  可以看到,删除操作的性能,同样也是单个线程并发操作时,吞吐率最大。

  以上测试都是每次操作都为一个事务,每次操作只涉及一条记录。

  本文总结:

  Sqlite最大的特点在于不成为单独的数据库引擎进程,可以使用Sqlite的函数库,也可以成为一个延伸函数库,如PHP4。并且有很多的第三方GUI管理软件,如SQLiteMan、SQLite Manager等。Sqlite总代码约3W行,并且没有额外依赖,这在开源软件中是比较少见的,Sqlite在随程序编译后,目标程序增量大约为300K,轻量级特性和免费让它在嵌入式设备中尤为受欢迎。

盛拓传媒简介 | 关于IT168 | 合作伙伴 | 广告服务 | 使用条款 | 投稿指南 | 诚聘精英 | 联系我们 | 苹果论坛 | 网站导航 | 往日回顾




引文来源  轻量级开源内存数据库SQLite性能测试-IT168 技术开发专区
  评论这张
 
阅读(926)| 评论(0)
推荐 转载

历史上的今天

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017