关于pandasnosql的信息

Pandas基本操作

一、查看数据

我们提供的服务有：网站设计制作、成都做网站、微信公众号开发、网站优化、网站认证、应城ssl等。为上千余家企事业单位解决了网站和推广的问题。提供周到的售前咨询和贴心的售后服务，是有科学管理、有技术的应城网站制作公司

1.查看DataFrame前xx行或后xx行

a=DataFrame(data);

a.head(6)表示显示前6行数据，若head()中不带参数则会显示全部数据。

a.tail(6)表示显示后6行数据，若tail()中不带参数则也会显示全部数据。

2.查看DataFrame的index，columns以，dtypes及values

a.index ; a.columns ; a.values;a.dtypes 即可

3.describe()函数对于数据的快速统计汇总

a.describe()对每一列数据进行统计，包括计数，均值，std，各个分位数等。

4.对数据的转置

a.T

5.对轴进行排序

a.sort_index(axis=1,ascending=False)；

其中axis=1表示对 所有的columns 进行排序，下面的数也跟着发生移动。后面的ascending=False表示按降序排列，参数缺失时默认升序。

6.对DataFrame中的值排序

a.sort(columns='x')

即对a中的x这一列，从小到大进行排序。注意仅仅是x这一列，而上面的按轴进行排序时会对所有的columns进行操作。

二、选择对象

1.选择特定列和行的数据

a['x'] 那么将会返回columns为x的列， 注意这种方式一次只能返回一个列。 a.x与a['x']意思一样。

取行数据，通过切片[]来选择

如：a[0:3] 则会返回前三行的数据。

2.通过标签来选择

a.loc['one']则会默认表示选取行为'one'的行；

a.loc[:,['a','b'] ] 表示选取所有的行以及columns为a,b的列；

a.loc[['one','two'],['a','b']] 表示选取'one'和'two'这两行以及columns为a,b的列；

a.loc['one',''a]与a.loc[['one'],['a']]作用是一样的，不过前者只显示对应的值，而后者会显示对应的行和列标签。

3.通过位置来选择

这与通过标签选择类似

a.iloc[1:2,1:2] 则会显示第一行第一列的数据;(切片后面的值取不到)

a.iloc[1:2] 即后面表示列的值没有时，默认选取 行位置为1的数据 ;

a.iloc[[0,2],[1,2]] 即可以自由选取行位置，和列位置对应的数据。

4.使用条件来选择

使用 单独的列 来选择数据

a[a.c0] 表示选择c列中大于0的数据

使用where来选择数据

a[a0] 表直接选择a中所有大于0的数据

使用isin()选出 特定列中包含特定值的行

a1=a.copy()

a1[a1['one'].isin(['2','3'])] 表显示满足条件：列one中的值包含'2','3'的所有行。

三、设置值（赋值）

赋值操作在上述选择操作的基础上直接赋值即可。

例a.loc[:,['a','c']]=9 即将a和c列的所有行中的值设置为9

a.iloc[:,[1,3]]=9 也表示将a和c列的所有行中的值设置为9

同时也依然可以用条件来直接赋值

a[a0]=-a 表示将a中所有大于0的数转化为负值

四、缺失值处理

在pandas中，使用np.nan来代替缺失值，这些值将默认不会包含在计算中。

1.reindex()方法

用来 对指定轴上的索引进行改变/增加/删除操作 ，这将返回原始数据的一个拷贝。

a.reindex(index=list(a.index)+['five'],columns=list(b.columns)+['d'])

a.reindex(index=['one','five'],columns=list(b.columns)+['d'])

即用index=[]表示对index进行操作，columns表对列进行操作。

2.对缺失值进行填充

a.fillna(value=x)

表示用值为x的数来对缺失值进行填充

3.去掉包含缺失值的行

a.dropna(how='any')

表示去掉所有包含缺失值的行

五、合并

1.contact

contact(a1,axis=0/1，keys=['xx','xx','xx',...])，其中a1表示要进行进行连接的列表数据,axis=1时表横着对数据进行连接。axis=0或不指定时，表将数据竖着进行连接。a1中要连接的数据有几个则对应几个keys， 设置keys是为了在数据连接以后区分每一个原始a1中的数据。

例：a1=[b['a'],b['c']]

result= pd.concat (a1,axis=1，keys=['1','2'])

2.Append 将一行或多行数据连接到一个DataFrame上

a.append(a[2:],ignore_index=True)

表示将a中的第三行以后的数据全部添加到a中，若不指定ignore_index参数，则会把添加的数据的index保留下来，若ignore_index=Ture则会 对所有的行重新自动建立索引。

3.merge类似于SQL中的join

设a1,a2为两个dataframe,二者中存在相同的键值，两个对象连接的方式有下面几种：

(1)内连接，pd.merge(a1, a2, on='key')

(2)左连接，pd.merge(a1, a2, on='key', how='left')

(3)右连接，pd.merge(a1, a2, on='key', how='right')

(4)外连接， pd.merge(a1, a2, on='key', how='outer')

至于四者的具体差别，具体学习参考sql中相应的语法。

六、分组（groupby）

用pd.date_range函数生成连续指定天数的的日期

pd.date_range('20000101',periods=10)

北大青鸟设计培训：学人工智能需要学哪些东西？

以前想都不敢想的事情，比如机器人，比如登上月球，再比如人工智能，现在竟然全都实现了!有木有感觉没有做不到，只有想不到。

贫穷限制了我的想象力!怎样脱贫呢?听说现在人工智能程序员工资很高，要不咱们来学人工智能，做个人工智能程序员肿么样?还是先来看看2020北大青鸟学人工智能需要学哪些东西吧!如果你参加不同的人工智能培训机构的话，那么课程设置也会有细微的差别。

但是如果一个靠谱的人工智能培训机构一般都会学这些东西：学习人工智能需要掌握python、网络爬虫、数据库知识(NoSQL、MongoDB、Redis等)、还有matplotlib、Pandas、IaaS/PaaS/SaaS、scrapy、TensorFlow、Fintech、机器学习算法、深度学习算法等。

看到这么多是不是很头大，觉得学到地老天荒也学不完哦。

我先来给你打个强心剂吧，如果你选择参加全日制的人工智能培训班，而且还是在你是零基础的情况下，一般是五个月左右。

开不开心?只要五个月就可以成为一名人工智能工程师。

但是这也是建立在你认真学习的情况下哦，如果你不认真学的话，那五年也不一定可以学完。

python常用的数据库有哪些？

1、数据收集：（1）Scrapy:协助使用者自动提取网页所需信息，并将其整理为表格或JSON格式的数据结构；（2）Selenium:使用者在感兴趣的网站上已经进行了交互行为之后，Seleniumn一般能派上用场；（3）BeautifulSoup：用来收集网站内容的Python库，更适合应用于规模相对较小的问题或一次性任务。

2、数据清理和转化：（4）Pandas:必须学习的，使用者可以运用Pandas操控处于Pandas数据框架内的数据，而且其内置巨量的函数，帮助使用者进行数据转换；（5）Numpy:必须学习的，Numpy将Python的对象列表拓展成了全面的多维度序列，而且其内置海量的数学函数；（6）Spacy:帮助使用者将自由文本转化为结构型数据，支持多种语言版本。

3、数据可视化：（7）Matplotlib:最全面的Python数据可视化库；（8）Plotly:只需要写最少的代码就能得出最多彩缤纷的图像。

4、数据模块化：（9）Scikit Learn:高级分析师，开启机器学习之旅，有六大主要模块:数据预处理，维度缩减，数据回归，数据分类，数据聚类分析，模型选择；（10）Tensorflow：由谷歌推出的来源机器学习库，是一个基于网页自动生成的仪表盘，它将数据学习流和结果进行了可视化处理，这一功能对于排错和展示都十分有用；（11）PyTorch:由Facebook发布的一个开源库，用作Python的公共机器学习框架。

5、音频和图像识别：（12）OpenCV：是最常用的图像和视频识别库，能让Python在图像和视频识别领域完全替代Matlab，不仅支持Python，还支持JAVA和Matlab；（13）Librosa：是一个非常强大的音频和声音处理Python库，可以从音频段中提取各个部分，例如节奏以及节拍。

6、网页：（14）Django：开发网页服务后端，设计理念是能用几行代码就建立一个网站的高级框架；（15）Flask：是一个用于Python的轻量级网页开发框架。

Pandas实现常用SQL操作

本文是写给有 SQL 基础，而对于 pandas 的 API 不够熟悉的同学的。将各种常见的 SQL 操作“翻译”成 pandas 的形式，从而便于数据处理。

首先建立两个表，年龄国籍表和性别表，两者可以通过 name 字段进行关联。

t1 数据如下：

t2 数据如下：

用 SQL 来实现是：

而在 pandas 中，join 被称为 merge。其中 on 表示两个表用于关联的键。how 表示 join 的方式，支持 {‘left’, ‘right’, ‘outer’, ‘inner’} 四个选项，分别对应 SQL 的 left join、right join、outer join、inner join。

能匹配到 name 的就会补充上 gender，Kim 在性别表差不到数据，因此填充来一个 NaN 表示空值。

遇到两个表需要关联的字段不同名，在 SQL 中只需要修改 on 后面的条件即可。

假如把 t1 的 name 换一个名字，那么就不能直接用 on='name' 来进行关联了。先使用 rename 方法更改列名，然后再次左联。

输出：

新增一个年龄表：

表内容：

如果不对 age 两个同名字段进行处理，pandas 会自动添加后缀，一个是 _x，另一个是 _y：

如果想要自定义后缀，那么可以：

于是上表的 age_x 和 age_y 就变成 age_left 和 age_right 了。

pandas 的 join 和 SQL 的 join 不太一样。默认行为是直接根据 index 进行关联。你可以理解为直接把两个表左右拼接在一起。

可以看到是直接根据 index 序号进行左右拼接。

如果存在名字相同的列则需要指明后缀，否则会报 ValueError。

将两个表上下拼接起来的操作。

结果如下：

注意，该操作不会做任何去重，只是单纯的拼接而已。

例如要求男性和女性两组的平均年龄。先关联 t1 和 t2 然后 group by 即可：

如果用 SQL 实现：

同时查看最小值和最大值：

其中 ['age'] 表示只输出 age 字段。agg 表示聚合，对于内置函数需要用引号，这里分别计算两个组的最小值和最大值。

SQL版本：

这里是体现 Python 比 SQL 强大的地方了。你可以写自定义的聚合函数。比如我要计算每组的奇数个数。注意，由于是聚合函数，因此传入的参数是 Series 对象，即一列数据，因此要用对应的方法。用数学语言来说，这里处理的是向量，而不是标量。

s % 2 是对输入的向量的每一个元素进行除2求余数，然后用内置聚合函数 sum 加总，由于奇数的余数是1，而偶数的余数是0，因此这个求和数就是奇数的个数。传参到 agg 方法只需要把 is_odd 函数放入列表即可，由于不是内置函数，因此不需要加引号。

暂时写到这里，后面如果用到其他地方再继续补充。