Python读入数据函数,python读取

python读取财经数据

提取日期数据基本语法

发展壮大离不开广大客户长期以来的信赖与支持，我们将始终秉承“诚信为本、服务至上”的服务理念，坚持“二合一”的优良服务模式，真诚服务每家企业，认真做好每个细节，不断完善自我，成就企业，实现共赢。行业涉及成都木包装箱等，在成都网站建设、营销型网站、WAP手机网站、VI设计、软件开发等项目上具有丰富的设计经验。

from WindPy import w

w.start()

当出现.ErrorCode==-103说明没连接上，要start一下

w.wsd(security, fields, startDate = None, endDate= None , options = None)

opion 可选（period, 日期类型， 货币类型，前后复权）

提取财务数据基本语法

w.wss(security, fields, options = None)

提取板块日序列基本语法

w.wses(sectorCode, fields, startDate = None, endDate = None, options = None)

提取板块日截面数据基本语法

w.wsee(sectorCode, fields, options=None)

提取宏观数据基本语法

w.edb(codes, startDate =None, endDate =None, options=None)

1.日期序列基本语法

ts.get_hist_data(stock,start,end)

注意：1.stock不能是集合,只能单个股票 2.需要带上.sz或.sh 3.没有field，只能取出数据后再切除.

2.pro用法

pro.daily(code, start, end, fields)

tushare引用语句

弊端也很明显，一方面不能stock集合输入，一次只能调取一个股票对应数据，另一方面tushare虽是免费试用，但有权限限制。

基本语法

wb.get_data_yahoo(code, start, end)

wb.DataReader(code, 'yahoo', start, end)

没法添加fields, 虽能集合适用，但出来的索引挺奇怪的

推荐使用定义函数或用for循环批量获取数据

总体感觉wind api最舒服，但需要账号，mac也不能直接调用wind api。还是推荐tushare的pro用法。

小白学习中，请指教=v=

Python气象数据处理与绘图(1)：数据读取

python很多库支持了对nc格式文件的读取，比如NetCDF4，PyNio(PyNio和PyNgl可以看做是NCL的Python版本)以及Xarray等等。

我最初使用PyNio，但是由于NCL到Python的移植并不完全，导致目前远不如直接使用NCL方便，而在接触Xarray库后，发现其功能强大远超NCL(也可能是我NCL太菜的原因)。

安装同其它库一致：

我这里以一套中国逐日最高温度格点资料(CN05.1)为例，其水平精度为0.5°X0.5°。

可以看到，文件的坐标有时间， 经度，纬度，变量有日最高温

我们将最高温数据取出

这与Linux系统中的ncl_filedump指令看到的信息是类似的

Xarray在读取坐标信息时，自动将时间坐标读取为了datetime64 格式，这对我们挑选目的时间十分方便。Xarray通常与pandas配合使用。

比如我们想选取1979.06.01-1979.06.20时期数据，我们只需

再比如我们想选取夏季数据时，只需

更多的时间操作同python的datetime函数类似。

当我们想选取特定经纬度范围(高度)的数据时，.loc[]函数同样可以解决。

在这里，我选取了40°N-55°N，115°E-135°E范围的数据

甚至，我们还可以套娃，同时叠加时间和范围的选取

这足够满足常用到的数据索引要求。

对于这类简单排列的.txt文件，可以通过np.load读取，用pandas的.read_csv更为方便

读取txt的同时，对每列赋予了一个列名，通过data.a可以直接按列名调用相应数据。

对于较复杂的.txt文件，仍可通过该函数读取

skiprows=5跳过了前5行的文件头，sep='\s+'定义了数据间隔为空格，这里用的是正则表达。

pd.read_csv函数有很多的参数，可以处理各种复杂情况下的文本文件读取。

grib文件可通过pygrib库读取

import pygrib

f = pygrib.open('xxx.grb')

Python Pandas——Read_csv详解

可以指定整个DataFrame或各个列的数据类型：

pandas提供了多种方法来确保列仅包含一个dtype。例如,可以使用read_csv（）的converters参数：

或者，可以在读取数据后使用to_numeric（）函数强进行类型转换。

可以通过指定dtype ='category'或dtype = CategoricalDtype（类别，有序）直接解析类别列。

可以使用dict指定将某列为Category类型：

指定dtype ='category'将导致无序分类，其类别是数据中观察到的唯一值。

要更好地控制类别和顺序，可以创建CategoricalDtype，然后将其传递给该列的dtype。

使用dtype = CategoricalDtype时，dtype.categories之外的“意外”值将被视为缺失值。

文件可能包含标题行，也可能没有标题行。 pandas假定第一行应用作列名：

通过指定name与header，可以重命名列以及是否丢弃标题行：

如果标题不在第一行中，则将行号传递给标题，将跳过header前面的行：

如果文件或标题包含重复的名称，默认情况下，pandas会将它们区分开，以防止覆盖数据.

usecols参数允许您使用列名，位置号或可调用的方法选择文件中列的任何子集.

如果指定了comment参数，则将忽略注释行。 默认情况下，空行也将被忽略。

如果skip_blank_lines = False，则read_csv将不会忽略空行：

警告：被忽略的行的存在可能会导致涉及行号的歧义； 参数标题使用行号（忽略注释/空行），而行首使用行号（包括注释/空行）.

如果同时指定了skiprows和header，则header将相对于skiprows的末尾。 例如：

为了更好地使用日期时间数据，read_csv（）使用关键字参数parse_dates和date_parser允许用户指定列的日期/时间格式，将string转换为日期时间对象。

通常，我们可能希望分别存储日期和时间数据，或分别存储各种日期字段。 parse_dates关键字可用于指定列的组合，以从中解析日期和/或时间。 您可以指定要parse_dates的列或嵌套列表，结果日期列将被添加到输出的前面（以便不影响现有的列顺序），新的列名为各列Name的连接。

默认情况下，解析器会删除组件日期列，可以选择通过keep_date_col关键字保留它们：

请注意，如果您希望将多个列合并为一个日期列，则必须使用嵌套列表。 换句话说，parse_dates = [1，2]表示第二和第三列应分别解析为单独的日期列，而parse_dates = [[1，2]]意味着应将这两列解析为单个列。

还可以使用字典来指定自定义名称列：

重要的是要记住，如果要将多个文本列解析为单个日期列，则在数据前添加一个新列。

index_col参数基于这组新列而不是原始数据列：

注意：如果列或索引包含不可解析的日期，则整个列或索引将作为对象数据类型原样返回。 对于非标准日期时间解析，请在pd.read_csv之后使用to_datetime（）。

注意：read_csv具有用于解析iso8601格式的日期时间字符串的fast_path，例如“ 2000-01-01T00：01：02 + 00：00”和类似的变体。 如果可以安排数据以这种格式存储日期时间，则加载时间将明显缩短，约20倍。

最后，解析器允许您指定自定义date_parser函数，以充分利用日期解析API的灵活性：

Pandas不能原生表示具有混合时区的列或索引。 如果CSV文件包含带有时区混合的列，则默认结果将是带有字符串的object-dtype列，即使包含parse_dates。

要将混合时区值解析为datetime列，请将部分应用的to_datetime（）传递给utc = True作为date_parser。

python爬虫---爬取LOL云顶之弈数据

本来是想爬取之后作最佳羁绊组合推算，但是遇到知识点无法消化（知识图谱），所以暂时先不组合了，实力有限

库的安装

1.requests  #爬取棋子数据

2.json  #棋子数据为js动态，需使用json解析

3.BeautifulSoup

实战前先新建个lol文件夹作为工作目录，并创建子目录data，用于存放数据。

1.爬取数据，新建个py文件，用于爬取云顶数据，命名为data.py

1.1定义个req函数，方便读取。//需设定编码格式，否则会出现乱码

def Re_data(url):

re = requests.get(url)

re.encoding = 'gbk'

data = json.loads(re.text)

return data['data']

1.2定义个Get函数，用于读取数据并使用保存函数进行保存数据，保存格式为json。

def Get_data():

# 获取数据并保存至data目录

base_url = ''

chess = Re_data(base_url + 'chess.js')

race = Re_data(base_url + 'race.js')

job = Re_data(base_url + 'job.js')

equip = Re_data(base_url + 'equip.js')

Save_data(chess,race,job,equip)

1.3定义save函数实现读取的数据进行文件保存，保存目录为工作目录下的data文件夹。

def Save_data(t_chess,t_race,t_job,t_equip):

with open('./data/chess.json','w') as f:

json.dump(t_chess,f,indent='\t')

with open('./data/race.json','w') as f:

json.dump(t_race,f,indent='\t')

with open('./data/job.json','w') as f:

json.dump(t_job,f,indent='\t')

with open('./data/equip.json','w') as f:

json.dump(t_equip,f,indent='\t')

1.4定义主函数main跑起来

if __name__ == '__main__':

start = time.time()

Get_data()

print('运行时间：' + str(time.time() - start) + '秒')

至此，数据爬取完成。

2.种族和职业进行组合。

2.1未完成 //未完成，使用穷举方法进行组合会出现内存不够导致组合失败（for循环嵌套导致数组内存超限）

//待学习，使用知识图谱建立组合优选，可参考：

期间遇到的问题：

1.爬取棋子数据时为动态js加载，需通过json模块的loads方法获取

2.3层for循环嵌套数据量大，导致计算失败，需优化计算方法。

python-读取xls文件

import pandas as pd

import warnings

warnings.filterwarnings("ignore")

folder_location='D:/Users/RE/'  -- 文件所在文件夹位置。

inputfile=folder_location+'数据底表.xlsx'  #打开csv文件

data=pd.read_excel(inputfile)

df=data

这说明数据已经 从xls文件里面读取到了 python中。

之后可以根据一些简单的groupby 等语句进行操作。

以下是函数可选参数

pd.read_excel(io, sheetname=0,header=0,skiprows=None,index_col=None,names=None,

            arse_cols=None,date_parser=None,na_values=None,thousands=None,

            convert_float=True,has_index_names=None,converters=None,dtype=None,

            true_values=None,false_values=None,engine=None,squeeze=False,**kwds)

常用参数解析：

io  ：excel 路径；  必填项 路径需要包含文件名

sheetname ：默认是sheetname为0，返回多表使用sheetname=[0,1]，若sheetname=None是返回全表 。注意：int/string返回的是dataframe，而none和list返回的是dict of dataframe。

header  ：指定作为列名的行，默认0，即取第一行，数据为列名行以下的数据；若数据不含列名，则设定 header = None；

python函数有哪些

1、print()函数：打印字符串;

2、raw_input()函数：从用户键盘捕获字符;

3、len()函数：计算字符长度;

4、format()函数：实现格式化输出;

5、type()函数：查询对象的类型;

6、int()函数、float()函数、str()函数等：类型的转化函数;

7、id()函数：获取对象的内存地址;

8、help()函数：Python的帮助函数;

9、s.islower()函数：判断字符小写;

10、s.sppace()函数：判断是否为空格;

11、str.replace()函数：替换字符;

12、import()函数：引进库;

13、math.sin()函数：sin()函数;

14、math.pow()函数：计算次方函数;

15、os.getcwd()函数：获取当前工作目录;

16、listdir()函数：显示当前目录下的文件;

17、time.sleep()函数：停止一段时间;

18、random.randint()函数：产生随机数;

19、range()函数：返回一个列表，打印从1到100;

20、file.read()函数：读取文件返回字符串;

21、file.readlines()函数：读取文件返回列表;

22、file.readline()函数：读取一行文件并返回字符串;

23、split()函数：用什么来间隔字符串;

24、isalnum()函数：判断是否为有效数字或字符;

25、isalpha()函数：判断是否全为字符;

26、isdigit()函数：判断是否全为数字;

27、 lower()函数：将数据改成小写;

28、upper()函数：将数据改成大写;

29、startswith(s)函数：判断字符串是否以s开始的;

30、endwith(s)函数：判断字符串是否以s结尾的;

31、file.write()函数：写入函数;

32、file.writeline()函数：写入文件;

33、abs()函数：得到某数的绝对值;

34、file.sort()函数：对书数据排序;

35、tuple()函数：创建一个元组;

36、find()函数：查找 返回的是索引;

37、dict()函数：创建字典;

38、clear()函数：清楚字典中的所有项;

39、copy()函数：复制一个字典，会修改所有的字典;

40、 get()函数：查询字典中的元素。

…………