秋风问答网秋风问答网

MySQL架构个人心得总结

我们学习MySQL最重要的是理解它的架构意义,进而帮助我们了解数据库运行的底层逻辑。

以下是我学习的总结,跟大家分享一下,觉得不错的话点赞收藏起来吧

MySQL构成组件:1. MySQL服务器进程。2. 本地或远程连接的客户端程序。3.安装在本地的MySQL非客户端程序

运行原理:客户端程序连接到MySQL服务器进程进行数据请求,MySQL客户端/服务器通信并不局限于所有计算机运行相同操作系统的环境。客户端程序可以连接到运行在同一台主机上的服务器,也可以连接到运行在不同主机上的服务器,客户机/服务器通信可能发生在计算机运行不同操作系统的环境中。

举个例子:MySQL服务器进程运行在Linux上,客户端程序运行在Windows上,通过TCP/IP连接。

Mysqld:数据库服务器程序称为mysqld

MySQL Server和host(主机)不一样,是一个单一的多线程进程,管理对磁盘和内存中的数据库的访问,支持并发客户端连接,支持多存储引擎,同时支持事务性和非事务性表,通过缓存和缓冲来使用内存。

Server and Host(服务器和主机的区别)

Server:带有版本号和功能列表的(mysqld)软件程序。

Host:运行服务器程序的物理机器,包含硬件配置,网络地址,操作系统。

区别:多台服务器可以在一台主机上运行

协议:有以下四种方式。远程连接只有通过TCP/IP。

协议

协议通过在客户端库和驱动程序中实现,连接协议的速度因本地设置而异。

关于TCP/IP的一些冷知识:全称Transmission Control Protocol/Internet Protocol。用于连接因特网上的主机的一套通信协议。通过使用IP地址或DNS主机名来识别主机,使用TCP端口号来识别每个主机上的特定服务,MySQL默认TCP端口号:3306。该协议允许不同主机之间的连接。

Socket:Linux本地通信协议。用于在同一机器上的两个进程之间形成双向通信环节的一端,要求服务器使用socket选项在本地系统上创建一个socket文件,客户端在连接时指定该socket文件,这是连接Linux的最佳方式。

MySQL and localhost的关系:当你指定某一台主机,MySQL会假设TCP协议,除非主机的名字就是本地服务器(localhost),例如主机名叫localhost的假定您正使用UNIX socket进行连接。连接到本地主机的IP地址127.0.0.1::1:


Windows 上的本地连接协议:共享内存和命名通道。

共享内存Shared memory:通过服务器创建一个命名的共享内存块,同一主机上的客户机进程可以访问该内存块。默认情况下,共享内存是禁用的。

命名通道Named pipes:在Windows中,Named pipes的工作原理很像UNIX sockets。通过服务器创建Named pipes,客户端向其写入并从中读取。Named pipes支持读/写操作,以及在一个明确的被动的模式下的服务器应用程序。


SSL在默认情况下,在可用的地方,连接层使用安全加密的连接。如果服务器主机上安装了OpenSSL, MySQL包安装者会创建SSL密钥。安装程序调用mysql_ssl_rsa_setup实用程序来创建密钥,如果是从二进制归档文件安装,则手动调用此实用程序。在数据目录中的密钥如果可用,MySQL客户端使用SSL,将客户端密钥复制到远程客户端以启用加密的远程连接。如果SSL不可用,连接将退回到未加密状态。您可以将服务器和客户端配置为需要SSL。

线程连接原理:服务器为每个活动的客户端连接创建一个连接线程,该客户端执行的所有语句都由单个服务器线程执行。当客户端断开连接时,服务器销毁线程。“线程池”分别管理连接和服务器线程,使用线程组管理客户端连接,根据执行的事务关系区分高优先级和低优先级语句,运行事务的语句具有高优先级,使长时间运行的事务得到了改进,通过线程组中的线程执行这些语句。


SQL层

SQL层原理:连接建立后,MySQL在SQL层处理每一个查询,其中包括以下组件。

1. Parser解析器:验证查询的语法和语义,并将其转换为标准格式

2. Authorization授权:验证所连接的用户是否被允许运行查询,并且对查询所引用的对象有足够的权限。

3. Optimizer优化:为每个查询创建最佳执行计划。这涉及到决定使用哪些索引,以及以何种顺序处理表。

4. Query execution执行查询:执行每个查询计划。

5. Query cache查询缓存:用于记录查询和结果。注意:这是一个可选组件,在大多数情况下增加了相当大的开销,仅在重复执行少量相同查询的应用程序中启用查询缓存。

6. Query logging查询日志:记录服务器接收或执行的查询。

SQL逻辑图


Storage Layer存储层

MySQL下的存储引擎:

1. InnoDB默认的内置存储引擎,除非在特定的,罕见的情况下,一般都使用这个引擎,

2. 其他引擎包括MyISAM (经常在旧版系统里使用) ? MEMORY ? ARCHIVE ? BLACKHOLE ? MERGE ? CSV ? FEDERATED (默认是关闭的) ? NDBCLUSTER (在MySQL集群发行版中可用)

3. 支持第三方存储引擎

Function函数:作为在存储引擎中是充当不同表类型处理程序的服务器组件。MySQL将处理数据行的任务委托给这些存储引擎,这些存储引擎将数据存储在磁盘、内存中,或通过将其发送到网络上的其他组件,并提供索引和其他行优化。

当创建表时,需要指定哪个可用的存储引擎去管理表中的数据。表的存储引擎通常不会影响SQL层的操作,通常情况下,SQL层解析所有有效的SQL,存储层处理行操作。

在特殊情况中,即SQL语句独立于引擎。比如在创建表有一个ENGINE选项,用于指定每个表使用哪个存储引擎,修改表也有一个ENGINE选项,可以将一个表转换为使用不同的存储引擎,但是部分产品特点仅适用于部分存储引擎,像是只有InnoDB和NDB支持外键只有InnoDB和NDB支持COMMIT(提交)和ROLLBACK(回滚)等事务控制操作,只有InnoDB和MyISAM支持全文索引(full-text indexes)。

所表现出的特性取决于存储引擎。

1. 存储介质又包括磁盘,内存,网络数据节点,Null(黑洞BLACKHOLE)四种介质。

2. 事务的能力包括具有提交和回滚的多重事务能力,隔离级别。

3. 锁定Locking:在表外的粒度级别的锁定,多版本并发控制(MVCC)。

4. 备份和恢复Backup and recovery:一些复杂的存储引擎,如InnoDB和NDB,使它们在内部保持一致性以提高性能。那是因为在运行的数据库中,文件包含的快照并不总是一致的。文件系统(原始)备份可以使用更简单的引擎。举个例子,在 MyISAM中很少有的一致性的特性,因此在数据库中,这些文件会包含一致的视图。

5. 优化Optimization:一些存储引擎使用索引、内部缓存、缓冲区和内存来优化性能

6. 与外键用作完整性的参考。

7. 全文检索

8. 空间数据

InnoDB存储引擎的高光时刻:InnoDB是MySQL的默认存储引擎,具有高可靠性和高性能,主要优点如下:

1. 事务的安全(兼容ACID)

2. MVCC(多版本并发控制)比如InnoDB精确到行级别的锁定,与oracle风格一致的非锁定读取。

3. 表数据会被安排用于基于优化主键的查询

4. 支持外键引用完整性的约束

5. 在庞大的数据量下以求获得最大性能

6. 在崩溃后,快速自动恢复

7. 在内存中,有用于缓存数据和索引的缓冲池。

其他引擎介绍:

MyISAM存储引擎的特点:

1. 在许多遗留系统中使用在MySQL 5.5之前是默认的存储引擎

2. 快速简单,但容易会使表崩溃,经常使用REPAIR TABLE恢复崩溃的MyISAM表

3. 用.MYD和.MYI文件来存储数据和索引信息

4. 支持全文索引

5. 支持空间数据的类型和索引

6. 支持表级锁

7. 由于文件格式简单,因此支持原始表备份和恢复。

MEMORY存储引擎的特点:

1. 把行数据和索引存储在内存中,在服务器重启后,数据无法保存,唯一的磁盘上的人工产物是表的. from文件。

2. 以固定长度格式存储行。

3. 用the --max-heap-table-size option(选项)去限制表的大小。该选项以旧的存储引擎HEAP去命名的

4. 支持表级锁

5. 不能存储TEXT或BLOB列

ARCHIVE 存储引擎用于以压缩格式存储大量数据,允许占用非常小的内存。它有这些主要特征:

1. 以. from文件形式表示

2. 把数据和元数据存储在.ARZ和.ARM文件中

3. 不支持索引

4. 支持INSERT和SELECT,但不支持DELETE, REPLACE或UPDTAE

5. 支持ORDER BY操作和BLOB列

6. 接受除空间数据类型外的所有数据类型

7. 使用行级锁

8. 支持AUTO_INCREMENT列(自增长列)

BLACKHOLE 存储引擎的特点:

1. 充当空存储引擎,它接受数据,但不存储数据,用它检索总是返回一个空结果,唯一的磁盘上的人工产物是表的. from文件。

2. 支持所有类型的索引

3. 在一些特定的情况下有用,例如在主从复制中,接替从服务器记录并转发复制的日志,但不存储数据。

4. 验证备份和转储文件的语法

5. 发现与存储引擎无关的性能瓶颈,例如测量二进制日志的日常消耗”

磁盘空间:

磁盘空间的主要用途是作为数据目录。数据目录的位置是可配置的,Linux的默认位置是/var/lib/mysql服务器日志文件和状态文件包含服务器正在处理的语句的信息。日志用于故障排除、监控、复制和恢复。所有数据库的InnoDB日志文件都位于数据目录级别。

InnoDB系统表空间包含数据目录、undo日志和缓冲区,不管数据库中的表使用的存储引擎是什么,每个数据库在数据目录下都有一个目录。

目录下包含以下:

1. 数据文件:例如InnoDB存储引擎特定的数据文件.ibd,当然还可以分区包括数据文件、元数据或索引信息在内的数据文件,这取决于使用的存储引擎

2. 格式文件(.frm): 包含每个表和/或视图结构的描述,位于相应的数据库目录中。

3. 触发器Triggers (.trg and .trn): 与表关联,并在表发生特定事件时,激活的已命名数据库对象。.trg文件将触发器链接到表(每个表一个触发器), trn文件存储触发器信息(每个触发器一个)。

相关文章

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

回到首页 发表评论 回到顶部