go语言的scan(),go语言的缺点

Golang 指针和结构体

于c语言相同，go中也有指针和结构体的概念。指针表示变量的内存地址，结构体用来存储同一类型的数据。

成都创新互联公司是一家专注于网站设计制作、网站设计与策划设计,临澧网站建设哪家好?成都创新互联公司做网站,专注于网站建设十多年,网设计领域的专业建站公司;建站业务涵盖:临澧等地区。临澧做网站价格咨询:13518219792

定义一个指针变量，将变量a的地址赋给指针变量p。这样,指针变量p也就指向了变量a所在的内容空间。

new 函数返回一个指针变量

fmt.scan() 就是传入一个指针变量。

两种方法都可以使用。

以上简要介绍了go语言中的指针和结构体。

（十一）golang 内存分析

编写过C语言程序的肯定知道通过malloc()方法动态申请内存，其中内存分配器使用的是glibc提供的ptmalloc2。 除了glibc，业界比较出名的内存分配器有Google的tcmalloc和Facebook的jemalloc。二者在避免内存碎片和性能上均比glic有比较大的优势，在多线程环境中效果更明显。

Golang中也实现了内存分配器，原理与tcmalloc类似，简单的说就是维护一块大的全局内存，每个线程(Golang中为P)维护一块小的私有内存，私有内存不足再从全局申请。另外，内存分配与GC（垃圾回收）关系密切，所以了解GC前有必要了解内存分配的原理。

为了方便自主管理内存，做法便是先向系统申请一块内存，然后将内存切割成小块，通过一定的内存分配算法管理内存。 以64位系统为例，Golang程序启动时会向系统申请的内存如下图所示：

预申请的内存划分为spans、bitmap、arena三部分。其中arena即为所谓的堆区，应用中需要的内存从这里分配。其中spans和bitmap是为了管理arena区而存在的。

arena的大小为512G，为了方便管理把arena区域划分成一个个的page，每个page为8KB,一共有512GB/8KB个页；

spans区域存放span的指针，每个指针对应一个page，所以span区域的大小为(512GB/8KB)乘以指针大小8byte = 512M

bitmap区域大小也是通过arena计算出来，不过主要用于GC。

span是用于管理arena页的关键数据结构，每个span中包含1个或多个连续页，为了满足小对象分配，span中的一页会划分更小的粒度，而对于大对象比如超过页大小，则通过多页实现。

根据对象大小，划分了一系列class，每个class都代表一个固定大小的对象，以及每个span的大小。如下表所示：

上表中每列含义如下：

class： class ID，每个span结构中都有一个class ID, 表示该span可处理的对象类型

bytes/obj：该class代表对象的字节数

bytes/span：每个span占用堆的字节数，也即页数乘以页大小

objects: 每个span可分配的对象个数，也即（bytes/spans）/（bytes/obj）waste

bytes: 每个span产生的内存碎片，也即（bytes/spans）%（bytes/obj）上表可见最大的对象是32K大小，超过32K大小的由特殊的class表示，该class ID为0，每个class只包含一个对象。

span是内存管理的基本单位,每个span用于管理特定的class对象, 跟据对象大小，span将一个或多个页拆分成多个块进行管理。src/runtime/mheap.go:mspan定义了其数据结构：

以class 10为例，span和管理的内存如下图所示：

spanclass为10，参照class表可得出npages=1,nelems=56,elemsize为144。其中startAddr是在span初始化时就指定了某个页的地址。allocBits指向一个位图，每位代表一个块是否被分配，本例中有两个块已经被分配，其allocCount也为2。next和prev用于将多个span链接起来，这有利于管理多个span，接下来会进行说明。

有了管理内存的基本单位span，还要有个数据结构来管理span，这个数据结构叫mcentral，各线程需要内存时从mcentral管理的span中申请内存，为了避免多线程申请内存时不断的加锁，Golang为每个线程分配了span的缓存，这个缓存即是cache。src/runtime/mcache.go:mcache定义了cache的数据结构

alloc为mspan的指针数组，数组大小为class总数的2倍。数组中每个元素代表了一种class类型的span列表，每种class类型都有两组span列表，第一组列表中所表示的对象中包含了指针，第二组列表中所表示的对象不含有指针，这么做是为了提高GC扫描性能，对于不包含指针的span列表，没必要去扫描。根据对象是否包含指针，将对象分为noscan和scan两类，其中noscan代表没有指针，而scan则代表有指针，需要GC进行扫描。mcache和span的对应关系如下图所示：

mchache在初始化时是没有任何span的，在使用过程中会动态的从central中获取并缓存下来，跟据使用情况，每种class的span个数也不相同。上图所示，class 0的span数比class1的要多，说明本线程中分配的小对象要多一些。

cache作为线程的私有资源为单个线程服务，而central则是全局资源，为多个线程服务，当某个线程内存不足时会向central申请，当某个线程释放内存时又会回收进central。src/runtime/mcentral.go:mcentral定义了central数据结构：

lock: 线程间互斥锁，防止多线程读写冲突

spanclass : 每个mcentral管理着一组有相同class的span列表

nonempty: 指还有内存可用的span列表

empty: 指没有内存可用的span列表

nmalloc: 指累计分配的对象个数线程从central获取span步骤如下：

将span归还步骤如下：

从mcentral数据结构可见，每个mcentral对象只管理特定的class规格的span。事实上每种class都会对应一个mcentral,这个mcentral的集合存放于mheap数据结构中。src/runtime/mheap.go:mheap定义了heap的数据结构：

lock： 互斥锁

spans: 指向spans区域，用于映射span和page的关系

bitmap：bitmap的起始地址

arena_start: arena区域首地址

arena_used: 当前arena已使用区域的最大地址

central: 每种class对应的两个mcentral

从数据结构可见，mheap管理着全部的内存，事实上Golang就是通过一个mheap类型的全局变量进行内存管理的。mheap内存管理示意图如下：

系统预分配的内存分为spans、bitmap、arean三个区域，通过mheap管理起来。接下来看内存分配过程。

针对待分配对象的大小不同有不同的分配逻辑：

(0, 16B) 且不包含指针的对象： Tiny分配

(0, 16B) 包含指针的对象：正常分配

[16B, 32KB] : 正常分配

(32KB, -) : 大对象分配其中Tiny分配和大对象分配都属于内存管理的优化范畴，这里暂时仅关注一般的分配方法。

以申请size为n的内存为例，分配步骤如下：

Golang内存分配是个相当复杂的过程，其中还掺杂了GC的处理，这里仅仅对其关键数据结构进行了说明，了解其原理而又不至于深陷实现细节。1、Golang程序启动时申请一大块内存并划分成spans、bitmap、arena区域

2、arena区域按页划分成一个个小块。

3、span管理一个或多个页。

4、mcentral管理多个span供线程申请使用

5、mcache作为线程私有资源，资源来源于mcentral。

golang-redis系列——返回值助手函数(二)

从上一节的内容可知，Do() 和 Receive() 等方法的返回值，除了 error 外，是一个 interface{} 类型的返回值，因此当我们的复杂操作返回的不是基本数据类型时，就需要我们自己解析返回值，例如，当我们利用 HMGET 方法获取一批返回值时，就需要对返回结果进行解析，具体如下：

由于返回值是多条数据，因此需要先将 reply 转成 []interface 类型，然后在遍历结果时在分别转成 []uint8 (byte数组)， 最后再转成 string 类型。

随着我们操作复杂度，数据解析的工作量也会非常大，(lua 脚本的使用，会使结果的解析更为复杂，因为可能存在多种类型的结果一起返回的情况，lua 脚本相关的内容会在下一节介绍)。

redigo 包中的返回值助手函数的存在，就是为了帮助我们完成这些枯燥繁琐的数据解析过程。

返回值助手函数相关源码路径为 github.com/gomodule/redigo/redis/reply.go 提供的主要方法如下：

上述返回值助手函数的具体使用，应该依据具体的命令进行选择。如果大家还记得上一节介绍的 Redis 基本数据类型，可能会有些疑问，对于 redis 来说，其数据据存储本质都是 []bytes， 为什么可以解析出 Int、int64、float等类型的数据呢？

我们以 Float64() 为例进行说明，具体源码如下：

其实，返回值助手函数是将 []byte 类型的原始数据，利用 strconv.ParseFloat(string(reply), 64) 转换成了 float64类型，因此在我们使用过程中返回值助手函数的选择，应该基于业务和实际存储的数据格式为依据。我们以第一小节的示例为例，看返回值助手函数如何降低我们的工作量，具体如下：

除了使用返回值助手函数对上述固定结构的结果进行解析外，redigo 包还提供了一个 Scan()函数用于解析自定义的复杂数据结构，我们依然以上一个示例进行说明,具体示例如下：

如果返回结果为结构化切片，也可以使用 canSlice() 方法，从而简化 loop 处理的部分，具体示例如下：

通过上述的示例，我们介绍了 scan 函数的基本用法，但是细心的同学可能会发现吗，为什么数据写入时，value 的类型为 []int64 但是读取时只能按照 string 类型读取呢。这是因为 Redis 底层存储的数据本质都是 string 类型，。 无论是 HMSET 还是 MSET 最终都只能按照 string 类型读取，因为其本质都是 hash 结构，不同之处仅在于 HMSET 是嵌套的 hash类型。 因此，[]int64 数据在写入阶段，就已经被自动处理为 []byte，写入 redis 之后，len 和 类型 属性会丢失。

如果强行按照 []int64解析将出错：

如果 value 必须以结构化的数据存储，那么可以提前对要写入的数据进行编码，例如 json、protobuf 等，取出后再进行解码获得原始数据。

golang mysql Scan操作按顺序取值问题

rows, err := db.Query("SELECT * FROM user")

checkErr(err)

for rows.Next() {

var userId int

var userName string

var userAge int

var userSex int

rows.Columns()

err = rows.Scan(userId, userName, userAge, userSex)

checkErr(err)

fmt.Println(userId)

fmt.Println(userName)

fmt.Println(userAge)

fmt.Println(userSex)

}

基础知识 - Golang 中的格式化输入输出

【格式化输出】

// 格式化输出：将 arg 列表中的 arg 转换为字符串输出

// 使用动词 v 格式化 arg 列表，非字符串元素之间添加空格

Print(arg列表)

// 使用动词 v 格式化 arg 列表，所有元素之间添加空格，结尾添加换行符

Println(arg列表)

// 使用格式字符串格式化 arg 列表

Printf(格式字符串, arg列表)

// Print 类函数会返回已处理的 arg 数量和遇到的错误信息。

【格式字符串】

格式字符串由普通字符和占位符组成，例如：

"abc%+ #8.3[3]vdef"

其中 abc 和 def 是普通字符，其它部分是占位符，占位符以 % 开头（注：%% 将被转义为一个普通的 % 符号，这个不算开头），以动词结尾，格式如下：

%[旗标][宽度][.精度][arg索引]动词

方括号中的内容可以省略。

【旗标】

旗标有以下几种：

空格：对于数值类型的正数，保留一个空白的符号位（其它用法在动词部分说明）。

0 ：用 0 进行宽度填充而不用空格，对于数值类型，符号将被移到所有 0 的前面。

其中 "0" 和 "-" 不能同时使用，优先使用 "-" 而忽略 "0"。

【宽度和精度】

“宽度”和“精度”都可以写成以下三种形式：

数值 | * | arg索引*

其中“数值”表示使用指定的数值作为宽度值或精度值，“ ”表示使用当前正在处理的 arg 的值作为宽度值或精度值，如果这样的话，要格式化的 arg 将自动跳转到下一个。“arg索引 ”表示使用指定 arg 的值作为宽度值或精度值，如果这样的话，要格式化的 arg 将自动跳转到指定 arg 的下一个。

宽度值：用于设置最小宽度。

精度值：对于浮点型，用于控制小数位数，对于字符串或字节数组，用于控制字符数量（不是字节数量）。

对于浮点型而言，动词 g/G 的精度值比较特殊，在适当的情况下，g/G 会设置总有效数字，而不是小数位数。

【arg 索引】

“arg索引”由中括号和 arg 序号组成（就像上面示例中的 [3]），用于指定当前要处理的 arg 的序号，序号从 1 开始：

'[' + arg序号 + ']'

【动词】

“动词”不能省略，不同的数据类型支持的动词不一样。

[通用动词]

v：默认格式，不同类型的默认格式如下：

布尔型：t

整　型：d

浮点型：g

复数型：g

字符串：s

通　道：p

指　针：p

无符号整型：x

T：输出 arg 的类型而不是值（使用 Go 语法格式）。

[布尔型]

t：输出 true 或 false 字符串。

[整型]

b/o/d：输出 2/8/10 进制格式

x/X ：输出 16 进制格式（小写/大写）

c ：输出数值所表示的 Unicode 字符

q ：输出数值所表示的 Unicode 字符（带单引号）。对于无法显示的字符，将输出其转义字符。

U ：输出 Unicode 码点（例如 U+1234，等同于字符串 "U+%04X" 的显示结果）

对于 o/x/X：

如果使用 "#" 旗标，则会添加前导 0 或 0x。

对于 U：

如果使用 "#" 旗标，则会在 Unicode 码点后面添加相应的 '字符'（前提是该字符必须可显示）

[浮点型和复数型]

b ：科学计数法（以 2 为底）

e/E：科学计数法（以 10 为底，小写 e/大写 E）

f/F：普通小数格式（两者无区别）

g/G：大指数（指数 = 6）使用 %e/%E，其它情况使用 %f/%F

[字符串或字节切片]

s ：普通字符串

q ：双引号引起来的 Go 语法字符串

x/X：十六进制编码（小写/大写，以字节为元素进行编码，而不是字符）

对于 q：

如果使用了 "+" 旗标，则将所有非 ASCII 字符都进行转义处理。

如果使用了 "#" 旗标，则输出反引号引起来的字符串（前提是

字符串中不包含任何制表符以外的控制字符，否则忽略 # 旗标）

对于 x/X：

如果使用了 " " 旗标，则在每个元素之间添加空格。

如果使用了 "#" 旗标，则在十六进制格式之前添加 0x 前缀。

[指针类型]

p ：带 0x 前缀的十六进制地址值。

[符合类型]

复合类型将使用不同的格式输出，格式如下：

结　构　体：{字段1 字段2 ...}

数组或切片：[元素0 元素1 ...]

映　射：map[键1:值1 键2:值2 ...]

指向符合元素的指针：{}, [], map[]

复合类型本身没有动词，动词将应用到复合类型的元素上。

结构体可以使用 "+v" 同时输出字段名。

【注意】

1、如果 arg 是一个反射值，则该 arg 将被它所持有的具体值所取代。

2、如果 arg 实现了 Formatter 接口，将调用它的 Format 方法完成格式化。

3、如果 v 动词使用了 # 旗标（%#v），并且 arg 实现了 GoStringer 接口，将调用它的 GoString 方法完成格式化。

如果格式化操作指定了字符串相关的动词（比如 %s、%q、%v、%x、%X），接下来的两条规则将适用：

4。如果 arg 实现了 error 接口，将调用它的 Error 方法完成格式化。

5。如果 arg 实现了 string 接口，将调用它的 String 方法完成格式化。

在实现格式化相关接口的时候，要避免无限递归的情况，比如：

type X string

func (x X) String() string {

return Sprintf("%s", x)

}

在格式化之前，要先转换数据类型，这样就可以避免无限递归：

func (x X) String() string {

return Sprintf("%s", string(x))

}

无限递归也可能发生在自引用数据类型上面，比如一个切片的元素引用了切片自身。这种情况比较罕见，比如：

a := make([]interface{}, 1)

a[0] = a

fmt.Println(a)

【格式化输入】

// 格式化输入：从输入端读取字符串（以空白分隔的值的序列），

// 并解析为具体的值存入相应的 arg 中，arg 必须是变量地址。

// 字符串中的连续空白视为单个空白，换行符根据不同情况处理。

// \r\n 被当做 \n 处理。

// 以动词 v 解析字符串，换行视为空白

Scan(arg列表)

// 以动词 v 解析字符串，换行结束解析

Scanln(arg列表)

// 根据格式字符串中指定的格式解析字符串

// 格式字符串中的换行符必须和输入端的换行符相匹配。

Scanf(格式字符串, arg列表)

// Scan 类函数会返回已处理的 arg 数量和遇到的错误信息。

【格式字符串】

格式字符串类似于 Printf 中的格式字符串，但下面的动词和旗标例外：

p ：无效

T ：无效

e/E/f/F/g/G：功能相同，都是扫描浮点数或复数

s/v ：对字符串而言，扫描一个被空白分隔的子串

对于整型 arg 而言，v 动词可以扫描带有前导 0 或 0x 的八进制或十六进制数值。

宽度被用来指定最大扫描宽度（不会跨越空格），精度不被支持。

如果 arg 实现了 Scanner 接口，将调用它的 Scan 方法扫描相应数据。只有基础类型和实现了 Scanner 接口的类型可以使用 Scan 类方法进行扫描。

【注意】

连续调用 FScan 可能会丢失数据，因为 FScan 中使用了 UnreadRune 对读取的数据进行撤销，而参数 io.Reader 只有 Read 方法，不支持撤销。比如：

Go 语言三色标记扫描对象是 DFS 还是 BFS?

最近在看左神新书 《Go 语言设计与实现》的垃圾收集器时产生一个疑惑，花了点时间搞清楚了记录一下。

Go 语言垃圾回收的实现使用了标记清除算法，将对象的状态抽象成黑色（活跃对象）、灰色（活跃对象中间状态）、白色（潜在垃圾对象也是所有对象的默认状态）三种，注意没有具体的字段标记颜色。

整个标记过程就是把白色对象标黑的过程：

1.首先将 ROOT 根对象（包括全局变量、goroutine 栈上的对象等）放入到灰色集合

2.选一个灰色对象，标成黑色，将所有可达的子对象放入到灰色集合

3.重复2的步骤，直到灰色集合中为空

下图是书上的插图，看上去是一个典型的深度优先搜索的算法。

下图是刘丹冰写的《Golang 修养之路》的插图，看上去是一个典型的广度优先搜索的算法。

我疑惑的点在于这个标记过程是深度优先算法还是广度优先算法，因为很多文章博客对此都没有很清楚的说明，作为学习者这种细节其实也不影响对整个 GC 流程的理解，但是这种细节我非常喜欢扣：）

对着书和源码摸索着大致找到了一个结果是深度优先。下面看下大致的过程，源码基于1.15.2版本：

gcStart 是 Go 语言三种条件触发 GC 的共同入口

启动后台标记任务

为每个处理器创建用于执行后台标记任务的 Goroutine

上面休眠的 G 会在调度循环中检查并唤醒执行

执行标记

gcw 是每个 P 独有的所以不用担心并发的问题 和 GMP、mcache 一样设计，减少锁竞争

尝试在全局列表中获取一个不为空的 buf

这是官方实现的无锁队列：）涨见识了，for 循环加原子操作实现栈的 pop

到这里从灰色集合中获取待扫描的对象逻辑说完了。找到对象了接着就是 scanobject(b, gcw) 了，里面有两段逻辑要注意

根据索引位置找到对象进行标色

尝试存入 gcwork 的缓存中，或全局队列中

无锁队列，for 循环加原子操作实现栈的 push

到这里把灰色对象标黑就完成了，又放回灰色集合接着扫下一个指针。

Go 语言设计与实现 垃圾收集器

Golang三色标记+混合写屏障GC模式全分析