go语言连接亚马逊AWS go语言公链开发实战

亚马逊AWS怎么用

打开之后登陆亚马逊账号，找到如下图点击【AWS管理控制台】

创新互联-专业网站定制、快速模板网站建设、高性价比吉县网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式吉县网站制作公司更省心,省钱,快速模板网站建设找我们，业务覆盖吉县地区。费用合理售后完善，10多年实体公司更值得信赖。

进入亚马逊AWS服务控制界面，点击EC3云虚主机服务器管理

接着在出现的页面点击，如下图【创建实例】 启动实例

选择免费实例

特别提醒一下，这里可以选择的系统映像文件有很多。我们试用是免费的要筛选出免费的套餐来

然后根据您的需求，注意有windows和linux以及 其他发行版linux版本。有64 和32位可以选

选择好之后，进入实例套餐（这里我们选择免费的类型）点击启动实例

设置好之后，注意留意一下 安全组的名字（这个以后用于端口映射需要用到）点击启动

创建秘钥，或者新建秘钥文件

下面进入秘钥新建的步骤，这个很关键如果没有秘钥以后远程会有问题。这里创建密码，或者用之前创建过的秘钥文件也行

设置好之后，点击 【下载秘钥对】然后启动实例

创建实例，进入实例新建初始化阶段。。稍等

新建好之后，点击查看实例列表。（注意如果有多个实例，请设置好备注方便辨认）

如何使用XShell登录亚马逊EC2云服务器

亚马逊AWS安全凭证用于验证你以及授权任何第三方应用访问你的AWS帐号，有各种不同的AWS安全凭证可用，如密码、访问密钥、多因素身份验证、X.509证书等。如果你想要创建新的访问密钥（访问密钥ID和秘密访问密钥），请按一下步骤进行。首先，登录到AWS控制台。从顶部栏选择“安全凭证”菜单（图中红色方框所示）。在下一页中，选择“访问密钥（访问密钥ID和秘密访问密钥）”选项（图中红色方框所示）。在下一页中，你将看到一个现存访问密钥ID列表（如果有的话）。注意，你不能恢复现存访问密钥ID的“秘密访问密钥”。出于安全的原因，秘密访问密钥只能在你创建新访问密钥时才可见。点击“创建新访问密钥”（见图示），将会立即创建一个新的访问密钥ID和密码访问密钥对。要么下载一个包含有新访问密钥的密钥文件，要么复制并粘贴新访问密钥信息。再次提请牢记，一旦你关闭该窗口，秘密访问密钥将不再可用，除非你下载一个密钥文件。多用户AWS帐号如果你是作为公司身份创建的帐号，多个雇员共享这一公司帐号，你可能想要使用身份和访问管理（IAM）来创建并管理他们的访问密钥。IAM是一个web服务，它允许一个公司管理多个用户及其与一个AWS帐号关联的安全凭证。使用IAM，多个用户可以作为不同身份登入单一的AWS帐号，并管理他们的安全凭证而不会相互干预对方的密钥。要管理IAM用户，点击“安全凭证”页面上的“用户”菜单（见图示）。然后，你就可以创建一个新的IAM用户并管理他们的安全凭证，比如访问密钥之类的东西。via:译者：GOLinux校对：wxy本文由LCTT原创翻译，Linux中国荣誉推出

组件分享之后端组件——基于Golang实现的高性能和弹性的流处理器benthos

近期正在探索前端、后端、系统端各类常用组件与工具，对其一些常见的组件进行再次整理一下，形成标准化组件专题，后续该专题将包含各类语言中的一些常用组件。欢迎大家进行持续关注。

本节我们分享的是基于Golang实现的高性能和弹性的流处理器 benthos ，它能够以各种代理模式连接各种 源 和 接收器，并对有效负载执行 水合、浓缩、转换和过滤 。

它带有 强大的映射语言 ，易于部署和监控，并且可以作为静态二进制文件、docker 映像或 无服务器函数 放入您的管道，使其成为云原生。

Benthos 是完全声明性的，流管道在单个配置文件中定义，允许您指定连接器和处理阶段列表：

Apache Pulsar, AWS (DynamoDB, Kinesis, S3, SQS, SNS), Azure (Blob storage, Queue storage, Table storage), Cassandra, Elasticsearch, File, GCP (Pub/Sub, Cloud storage), HDFS, HTTP (server and client, including websockets), Kafka, Memcached, MQTT, Nanomsg, NATS, NATS JetStream, NATS Streaming, NSQ, AMQP 0.91 (RabbitMQ), AMQP 1, Redis (streams, list, pubsub, hashes), MongoDB, SQL (MySQL, PostgreSQL, Clickhouse, MSSQL), Stdin/Stdout, TCP UDP, sockets and ZMQ4.

1、docker安装

具体使用方式可以参见该 文档

有关如何配置更高级的流处理概念（例如流连接、扩充工作流等）的指导，请查看 说明书部分。

有关在 Go 中构建您自己的自定义插件的指导，请查看 公共 API。

【Minio】基于AWS S3协议搭建个人云存储服务

在2007年，GlusterFS演变为大型分布式存储方案后，任何配备合适硬件的公司，单位都可以利用个做分布式的流媒体，数据分析。在2011年，Red Hat收购了GlusterFS.

Minio是GlusterFS创始人之一Anand Babu Periasamy发布新的开源项目。Minio兼容Amason的S3分布式对象存储项目，采用Golang实现，客户端支持Java,Python,Javacript, Golang语言。

Minio 提供对象存储服务，兼容了 AWS S3 存储协议，用于非结构化的数据存。非结构化对象，比如图像，音、视频，日志文件，备份镜像…等等管理不方便，不定长，大小变化大、类型多，云端的访问复杂，minio就是来解决这种场景的。非结构化的文件从数KB到5TB都能很好的支持。开源并且用 Go 语言开发，有web操作界面，我们可以用它来搭建兼容S3协议的存储云服务。

Minio可以做为云存储的解决方案用来保存海量的图片，视频，文档。由于采用Golang实现，服务端可以工作在Windows,Linux, OS X和FreeBSD上。配置简单，基本是复制可执行程序，单行命令可以运行起来。

官网：

那么，如何自己搭建一个私有的S3存储云服务呢？

官方的话是推荐用Docker来搞，我们先用普通的二进制文件来直接解决了！

######################################################################################

# mkdir /data/aws_s3

# wget  

# mv  minio /usr/local/bin/

#  chmod  755  /usr/local/bin/minio 

# minio server  /data/aws_s3

#############################################################

Created minio configuration file successfully at /root/.minio

Endpoint:    

AccessKey: U3XLU4IMXY3IDKHU268F 

SecretKey: /6NCL6HGacviaCgRqr2qLbVOjhkkJdRpV7wz0JJD 

Region:    us-east-1

SQS ARNs:  

Browser Access:

Command-line Access: 

################################################################

$ mc config host add myminio   U3XLU4IMXY3IDKHU268F /6NCL6HGacviaCgRqr2qLbVOjhkkJdRpV7wz0JJD

Object API (Amazon S3 compatible):

Go: 

Java: 

Python: 

JavaScript: 

Drive Capacity: 8.3 GiB Free, 9.1 GiB Total

##############################################################

我们就成功启动了minio的s3服务，默认端口9000，可以通过网页访问:

注意 ：第一次打开时候需要填写AccessKey和SecretKey才能进入，我们上面启动服务的时候，已经看到屏幕有输出:

AccessKey: U3XLU4IMXY3IDKHU268F 

SecretKey:6NCL6HGacviaCgRqr2qLbVOjhkkJdRpV7wz0JJD

把这两个Key填入，就能顺利进入，进入后展开页面如下:

这就是我们的S3云存储的管理页面了，看着是不是和七牛什么的提供云存储的产品页面挺像的，大家都是基于S3协议开发的！

上传个文件试试：

点击右下角的红色小加号按钮，弹出的菜单选择”create bucket”则会创建一个桶，输入名字”test”

点击刚才那个红色小加号按钮，这次选择”Upload file”上传文件，给这个桶上传了一个叫login.txt的文本文档

此时页面如下：

至此我们可以看到文件已经上传，要访问这个文件，可以点击文件右侧的三个点的按钮，选择分享就可以得到一个外链，在浏览器中访问这个外链就可以直接访问文件。

那么文件到底被存到哪里去了呢，我们启动命令中其实指定了工作路径/data/aws_s3/，所以到服务器这个目录下看看：

# ls /data/aws_s3/ 

test

# ls /data/aws_s3/test/

login.txt 

桶名称test是一个目录，其下就有上传的login.txt文件。

如果想指定ip和端口，可以这样写:

# minio server /data/aws_s3 --address=0.0.0.0:9000

如果想让服务在后台运行：

# nohup minio server /data/aws_s3   --address=0.0.0.0:443 

[1] 19882

// nohup: 忽略输入并把输出追加到启动命令的当前目录下的 "nohup.out"文件

minio可以用来搭建分布式存储系统 GlusterFS，这样就成了真正的云存储了，有时间再研究下把它从现在的单机测试，变成一朵存储云！

minio官网：

minio官方文档：

minio github主页：