第二章：Python数据处理与可视化

• 矩阵（Matrix）：
  • 定义： 矩阵是一个由数字排列成的矩形网格，其中包含了行和列。通常表示为一个二维数组，其中每个元素都有行和列的坐标。
  • 用途： 矩阵在线性代数中广泛用于矩阵乘法、线性方程组求解、特征值计算等。
  • 示例： 以下是一个2x3的矩阵的示例：

      [1  2  3]
      [4  5  6]

• 张量（Tensor）：
  • 定义： 张量是一个多维数组，通常包含了三个或更多维度。在深度学习和神经网络中，张量是表示多层数据的常用数据结构。
  • 用途： 张量在深度学习中用于表示神经网络的输入、输出和权重，以及在图像处理、自然语言处理等领域中用于处理多维数据。
  • 示例： 以下是一个3D张量的示例，表示RGB图像

  [[[255  0  0]
    [0    255  0]
    [0    0    255]]
    
  [[128  128  0]
    [0    128  128]
    [128  0    128]]]

• 数组（Array）：
  • 定义： 数组是一种通用的多维数据结构，可以包含任意数量的维度。在Python中，NumPy库提供了强大的数组功能，被广泛用于科学计算和数据分析。
  • 用途： 数组在科学计算、数据分析、机器学习、统计分析等领域中广泛用于存储和处理数据。
  • 示例： 以下是一个2D NumPy数组的示例：

[[1  2  3]
 [4  5  6]]

输出结果：

[1 2 3]

输出结果：

[[1  2] 
 [3  4]]

输出结果：

[[1 2 3 4 5]]

输出结果：

[1.+0.j 2.+0.j 3.+0.j]

• NumPy 数组的维数称为秩（rank），秩就是轴的数量，即数组的维度，一维数组的秩为 1，二维数组的秩为 2，以此类推。
• 在 NumPy中，每一个线性的数组称为是一个轴（axis），也就是维度（dimensions）。比如说，二维数组相当于是两个一维数组，其中第一个一维数组中每个元素又是一个一维数组。所以一维数组就是 NumPy 中的轴（axis），第一个轴相当于是底层数组，第二个轴是底层数组里的数组。而轴的数量——秩，就是数组的维数。
• 很多时候可以声明 axis。axis=0，表示沿着第 0 轴进行操作，即对每一列进行操作；axis=1，表示沿着第1轴进行操作，即对每一行进行操作。

• ndarray.ndim 用于返回数组的维数，等于秩。

import numpy as np 
 
a = np.arange(24)  
print (a.ndim)             # a 现只有一个维度
# 现在调整其大小
b = a.reshape(2,4,3)  # b 现在拥有三个维度
print (b.ndim)

输出结果为：

1
3

• ndarray.shape 表示数组的维度，返回一个元组，这个元组的长度就是维度的数目，即 ndim 属性(秩)。比如，一个二维数组，其维度表示"行数"和"列数"。
• ndarray.shape 也可以用于调整数组大小。

import numpy as np  
 
a = np.array([[1,2,3],[4,5,6]])  
print (a.shape)

输出结果为：

(2, 3)

• 调整数组大小。

import numpy as np 
 
a = np.array([[1,2,3],[4,5,6]]) 
a.shape =  (3,2)  
print (a)

输出结果为：

[[1 2]
 [3 4]
 [5 6]]

• reshape 函数调整数组大小。

import numpy as np 
 
a = np.array([[1,2,3],[4,5,6]]) 
b = a.reshape(3,2)  
print (b)

输出结果为：

[[1 2]
 [3 4]
 [5 6]]

• numpy.asarray 类似 numpy.array，但 numpy.asarray 参数只有三个，比 numpy.array 少两个。

  numpy.asarray(a, dtype = None, order = None)

np.linspace(start, stop, num=50, endpoint=True, retstep=False, dtype=None)

import numpy as np
 
a = np.arange(10)  
b = a[2:7:2]   # 从索引 2 开始到索引 7 停止，间隔为 2
print(b)

输出结果为：

[2  4  6]

多维数组同样适用上述索引提取方法：

import numpy as np
 
a = np.array([[1,2,3],[3,4,5],[4,5,6]])
print(a)
# 从某个索引处开始切割
print('从数组索引 a[1:] 处开始切割')
print(a[1:])

输出结果为：

[[1 2 3]
 [3 4 5]
 [4 5 6]]
从数组索引 a[1:] 处开始切割
[[3 4 5]
 [4 5 6]]

切片还可以包括省略号 …，来使选择元组的长度与数组的维度相同。 如果在行位置使用省略号，它将返回包含行中元素的 ndarray。

import numpy as np
 
a = np.array([[1,2,3],[3,4,5],[4,5,6]])  
print (a[...,1])   # 第2列元素
print (a[1,...])   # 第2行元素
print (a[...,1:])  # 第2列及剩下的所有元素

输出结果为：

[2 4 5]
[3 4 5]
[[2 3]
 [4 5]
 [5 6]]

import numpy as np 
# 获取 4X3 数组中的四个角的元素。 行索引是 [0,0] 和 [3,3]，而列索引是 [0,2] 和 [0,2]。
x = np.array([[  0,  1,  2],[  3,  4,  5],[  6,  7,  8],[  9,  10,  11]])  
print ('我们的数组是：' )
print (x)
print ('\n')
rows = np.array([[0,0],[3,3]]) 
cols = np.array([[0,2],[0,2]]) 
y = x[rows,cols]  
print  ('这个数组的四个角元素是：')
print (y)

我们的数组是：
[[ 0  1  2]
 [ 3  4  5]
 [ 6  7  8]
 [ 9 10 11]]

这个数组的四个角元素是：
[[ 0  2]
 [ 9 11]]

当运算中的 2 个数组的形状不同时，numpy 将自动触发广播机制。

import numpy as np 
 
a = np.array([[ 0, 0, 0],
           [10,10,10],
           [20,20,20],
           [30,30,30]])
b = np.array([0,1,2])
print(a + b)
输出结果为：

[[ 0  1  2]
 [10 11 12]
 [20 21 22]
 [30 31 32]]

import numpy as np 
 
a = np.array([[ 0, 0, 0],
           [10,10,10],
           [20,20,20],
           [30,30,30]])
b = np.array([1,2,3])
bb = np.tile(b, (4, 1))  # 重复 b 的各个维度
print(a + bb)
输出结果为：

[[ 1  2  3]
 [11 12 13]
 [21 22 23]
 [31 32 33]]

import numpy as np
 
a = np.arange(6).reshape(2,3)
print ('原始数组是：')
print (a)
print ('\n')
print ('迭代输出元素：')
for x in np.nditer(a):
    print (x, end=", " )
print ('\n')

输出结果为：

原始数组是：
[[0 1 2]
 [3 4 5]]


迭代输出元素：
0, 1, 2, 3, 4, 5, 

• 以上实例不是使用标准 C 或者 Fortran 顺序，选择的顺序是和数组内存布局一致的，这样做是为了提升访问的效率，默认是行序优先（row-major order，或者说是 C-order）。
• 默认情况下只需访问每个元素，而无需考虑其特定顺序。

• Numpy 数学函数

高性能数组操作：NumPy 数学函数是针对数组进行优化的，因此它们通常比使用标准 Python 列表的操作快得多。这是因为 NumPy 使用底层的高效 C 代码来处理数据。

支持广播：NumPy 数学函数支持广播（broadcasting），这意味着它们可以在不同形状的数组之间执行操作，而不需要显式循环。这简化了代码，并提高了性能。

大量的数学函数：NumPy 提供了丰富的数学函数，包括基本的算术运算（如加法、减法、乘法、除法）、三角函数、指数和对数函数、线性代数运算、统计函数等。这使得 NumPy 成为科学计算和数据分析的强大工具。

数组操作：NumPy 数学函数通常是数组操作，可以对整个数组或数组的元素执行操作。这使得它们特别适用于向量化的计算。

支持多维数组：NumPy 数学函数支持多维数组，因此可以轻松处理多维数据，例如图像、矩阵和张量。

开源和广泛使用：NumPy 是开源的，广泛用于科学计算、数据分析、机器学习等领域。它构建了许多其他 Python 数据科学库的基础，如 SciPy、Pandas 和 Scikit-Learn。

互操作性：NumPy 数学函数通常可以与其他科学计算库和工具互操作，包括 SciPy、Matplotlib、Pandas、Scikit-Learn 等。这种互操作性使得 NumPy 可以与其他库一起使用，构建完整的数据科学工作流程。

NumPy 提供了线性代数函数库 linalg，该库包含了线性代数所需的所有功能：

import numpy as np

# 创建两个2维张量
tensor1 = np.array([[1, 2], [3, 4]])
tensor2 = np.array([[5, 6], [7, 8]])

# 加法
result_add = np.add(tensor1, tensor2)

# 乘法（元素级乘法）
result_multiply = np.multiply(tensor1, tensor2)

import numpy as np

# 创建两个2维张量
matrix_a = np.array([[1, 2], [3, 4]])
matrix_b = np.array([[5, 6], [7, 8]])

# 矩阵乘法
matrix_multiply = np.dot(matrix_a, matrix_b)

# 矩阵转置
matrix_transpose = np.transpose(matrix_a)

# 行列式计算
matrix_det = np.linalg.det(matrix_a)

# 逆矩阵计算
matrix_inv = np.linalg.inv(matrix_a)

# 特征值和特征向量计算
eigenvalues, eigenvectors = np.linalg.eig(matrix_a)

# 打印结果
print("Matrix A:\n", matrix_a)
print("Matrix B:\n", matrix_b)
print("Matrix Multiplication:\n", matrix_multiply)
print("Matrix Transpose:\n", matrix_transpose)
print("Matrix Determinant:\n", matrix_det)
print("Matrix Inverse:\n", matrix_inv)
print("Eigenvalues:\n", eigenvalues)
print("Eigenvectors:\n", eigenvectors)

import numpy as np

# 创建一个3维张量
tensor3D = np.array([[[1, 2], [3, 4]], [[5, 6], [7, 8]]])

# 获取特定元素
element = tensor3D[1, 0, 1]  # 获取第二个 "层" 的第一个 "行" 的第二个元素

# 切片
slice_tensor = tensor3D[:, 1, :]  # 获取所有 "层" 的第二个 "行"

import numpy as np

# 创建一个2维张量
tensor = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])

# 求和
sum_tensor = np.sum(tensor)

# 沿特定轴计算平均值
mean_along_axis = np.mean(tensor, axis=0)

# 沿特定轴计算标准差
std_deviation_along_axis = np.std(tensor, axis=1)

import numpy as np

# 创建一个2维张量
tensor = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])

# 非线性运算 - 平方根
sqrt_result = np.sqrt(tensor)

# 非线性运算 - 指数运算
exp_result = np.exp(tensor)

# 非线性运算 - 对数运算
log_result = np.log(tensor)

# 非线性运算 - 正弦函数
sin_result = np.sin(tensor)

# 非线性运算 - 双曲正弦函数
sinh_result = np.sinh(tensor)

# 非线性运算 - 阶乘
factorial_result = np.math.factorial(tensor)

# 打印结果
print("原始张量:\n", tensor)
print("平方根:\n", sqrt_result)
print("指数运算:\n", exp_result)
print("对数运算:\n", log_result)
print("正弦函数:\n", sin_result)
print("双曲正弦函数:\n", sinh_result)
print("阶乘:\n", factorial_result)

import numpy as np

# 创建两个4维张量
tensor_a = np.random.rand(2, 2, 3, 3)  # 2x2x3x3张量
tensor_b = np.random.rand(2, 2, 3, 3)  # 2x2x3x3张量

# 矩阵乘法
tensor_multiply = np.matmul(tensor_a, tensor_b)

# 矩阵转置
tensor_transpose = np.transpose(tensor_a, axes=(0, 1, 3, 2))  # 交换第三和第四维度

# 行列式计算
# 注意：4维张量的行列式通常没有直接的数学定义
# 因此，此示例仅为演示
# 通常需要特定问题背景下的行列式计算
# tensor_det = np.linalg.det(tensor_a)  # 这将引发异常

# 逆矩阵计算
# 同样，逆矩阵在4维张量中也需要特定的问题背景
# tensor_inv = np.linalg.inv(tensor_a)  # 这将引发异常

# 打印结果
print("Tensor A:\n", tensor_a)
print("Tensor B:\n", tensor_b)
print("Tensor Multiplication:\n", tensor_multiply)
print("Tensor Transpose:\n", tensor_transpose)

  pandas.Series(data, index, dtype, name, copy)

import pandas as pd

a = [1, 2, 3]

myvar = pd.Series(a) # 创建一个简单的 Series

print(myvar)

输出:

如果没有指定索引，索引值就从 0 开始

import pandas as pd

a = [1, 2, 3]

myvar = pd.Series(a)

print(myvar[1]) # 可以根据索引值读取数据

输出：

import pandas as pd

a = ["Google", "Runoob", "Wiki"]

myvar = pd.Series(a, index = ["x", "y", "z"]) #  指定索引值

print(myvar)

输出:

import pandas as pd

a = ["Google", "Runoob", "Wiki"]

myvar = pd.Series(a, index = ["x", "y", "z"])

print(myvar["y"])   #  根据索引值读取数据

输出:

可以使用 key/value 对象，类似字典来创建 Series：

import pandas as pd

sites = {1: "Google", 2: "Runoob", 3: "Wiki"} # 字典的 key 变成了索引值

myvar = pd.Series(sites)

print(myvar)

输出:

1    Google
2    Runoob
3      Wiki
dtype: object

如果只需要字典中的一部分数据，只需要指定需要数据的索引即可:

import pandas as pd

sites = {1: "Google", 2: "Runoob", 3: "Wiki"}

myvar = pd.Series(sites, index = [1, 2])

print(myvar)

输出:

1    Google
2    Runoob
dtype: object

DataFrame 构造方法如下：

pandas.DataFrame( data, index, columns, dtype, copy)

使用列表创建

import pandas as pd

data = [['Google',10],['Runoob',12],['Wiki',13]]

df = pd.DataFrame(data,columns=['Site','Age'],dtype=float)

print(df)

输出:

     Site   Age
0  Google  10.0
1  Runoob  12.0
2    Wiki  13.0

使用 ndarrays 创建，ndarray 的长度必须相同， 如果传递了 index，则索引的长度应等于数组的长度。如果没有传递索引，则默认情况下，索引将是range(n)，其中n是数组长度。

import pandas as pd

data = {'Site':['Google', 'Runoob', 'Wiki'], 'Age':[10, 12, 13]}

df = pd.DataFrame(data)

print (df)

输出结果如下：

     Site  Age
0  Google   10
1  Runoob   12
2    Wiki   13

可以使用字典（key/value），其中字典的 key 为列名:

import pandas as pd

data = [{'a': 1, 'b': 2},{'a': 5, 'b': 10, 'c': 20}]

df = pd.DataFrame(data)

print (df)

输出结果为：

   a   b     c
0  1   2   NaN   # 没有对应的部分数据为 NaN。
1  5  10  20.0

Pandas 可以使用 loc 属性返回指定行的数据，如果没有设置索引，第一行索引为 0，第二行索引为 1，以此类推：

import pandas as pd
data = {"calories": [420, 380, 390], "duration": [50, 40, 45]}
df = pd.DataFrame(data)  # 数据载入到 DataFrame 对象
print(df.loc[0])  # 返回第一行：返回结果其实就是一个 Pandas Series 数据。
print(df.loc[1])   # 返回第二行：返回结果其实就是一个 Pandas Series 数据。

输出：

calories    420
duration     50
Name: 0, dtype: int64
calories    380
duration     40
Name: 1, dtype: int64

可以返回多行数据，使用 [[ ... ]] 格式，... 为各行的索引，以逗号隔开：

import pandas as pd

data = {
  "calories": [420, 380, 390],
  "duration": [50, 40, 45]
}

# 数据载入到 DataFrame 对象
df = pd.DataFrame(data)

# 返回第一行和第二行： 返回结果其实就是一个 Pandas DataFrame 数据。
print(df.loc[[0, 1]])

输出：

   calories  duration
0       420        50
1       380        40

可以指定索引值，如下实例：

import pandas as pd

data = {
  "calories": [420, 380, 390],
  "duration": [50, 40, 45]
}

df = pd.DataFrame(data, index = ["day1", "day2", "day3"])

print(df)

输出结果为：

      calories  duration
day1       420        50
day2       380        40
day3       390        45

Pandas 可以使用 loc 属性返回指定索引对应到某一行：

import pandas as pd

data = {
  "calories": [420, 380, 390],
  "duration": [50, 40, 45]
}

df = pd.DataFrame(data, index = ["day1", "day2", "day3"])

# 指定索引
print(df.loc["day2"])

输出：

calories    380
duration     40
Name: day2, dtype: int64

              Name            Team  Number Position   Age Height  Weight            College     Salary
0    Avery Bradley  Boston Celtics     0.0       PG  25.0    6-2   180.0              Texas  7730337.0
1      Jae Crowder  Boston Celtics    99.0       SF  25.0    6-6   235.0          Marquette  6796117.0
2     John Holland  Boston Celtics    30.0       SG  27.0    6-5   205.0  Boston University        NaN
3      R.J. Hunter  Boston Celtics    28.0       SG  22.0    6-5   185.0      Georgia State  1148640.0
4    Jonas Jerebko  Boston Celtics     8.0       PF  29.0   6-10   231.0                NaN  5000000.0
..             ...             ...     ...      ...   ...    ...     ...                ...        ...
453   Shelvin Mack       Utah Jazz     8.0       PG  26.0    6-3   203.0             Butler  2433333.0
454      Raul Neto       Utah Jazz    25.0       PG  24.0    6-1   179.0                NaN   900000.0
455   Tibor Pleiss       Utah Jazz    21.0        C  26.0    7-3   256.0                NaN  2900000.0
456    Jeff Withey       Utah Jazz    24.0        C  26.0    7-0   231.0             Kansas   947276.0
457            NaN             NaN     NaN      NaN   NaN    NaN     NaN                NaN        NaN

import pandas as pd
   
# 三个字段 name, site, age
nme = ["Google", "Runoob", "Taobao", "Wiki"]
st = ["www.google.com", "www.runoob.com", "www.taobao.com", "www.wikipedia.org"]
ag = [90, 40, 80, 98]
   
# 字典
dict = {'name': nme, 'site': st, 'age': ag}
     
df = pd.DataFrame(dict)
 
# 保存 dataframe
df.to_csv('site.csv')

openpyxl 是一个用于处理 Excel 文件（.xlsx 格式）的 Python 库。使用 openpyxl，可以创建自动化的 Excel 处理工具、数据报告生成器、数据清洗工具等。

pip install openpyxl

openpyxl 的主要特点和用途：

创建 Excel 文件：openpyxl 允许创建新的 Excel 工作簿和工作表，然后向其添加数据和样式。

读取 Excel 文件：可以使用 openpyxl 读取现有的 Excel 文件，包括工作表中的数据、样式、公式等。

修改 Excel 文件：可以使用 openpyxl 修改现有的 Excel 文件，包括更新数据、样式、插入/删除行列等。

处理图表：openpyxl 允许处理 Excel 中的图表，包括创建、修改和删除图表。

自定义样式：可以设置单元格的字体、颜色、边框等样式，以创建具有专业外观的工作表。

支持公式：openpyxl 可以处理工作表中的公式，包括计算公式结果和更新公式。

数据验证：可以添加数据验证规则，以确保工作表中的数据符合特定的规则和约束。

支持图像和注释：可以插入图像和注释来更好地解释工作表中的数据。

兼容性：openpyxl 支持 Excel 2010 及更高版本的文件格式。

开源和广泛使用：openpyxl 是一个开源项目，受到广泛支持和社区贡献。

pd.read_excel() 是 pandas 库中用于从 Excel 文件中读取数据的函数（ 需要 openpyxl 支持 ）。并将 Excel 文件转换为 pandas 数据框，以便进行数据分析和处理。以下是关于函数的参数和用途的介绍：

参数说明：
io Excel 文件的路径或可用于读取数据的对象。
sheet_name 要读取的工作表名称，可以是字符串、整数或None。
header 指定包含列名的行号，默认为0。
index_col 用作行索引的列名或列号，默认为None。
usecols 指定要读取的列，可以是列名或列号的列表。
skiprows 跳过指定的行数后再读取数据。
nrows 读取的行数。
na_values 指定用于表示缺失数据的值。
parse_dates 解析日期列，默认为False。
date_parser 用于解析日期列的函数。
dtype 指定每列的数据类型。
converters 自定义列值的转换函数。
skipfooter 跳过文件末尾的行数。

import pandas as pd

df = pd.read_excel('成绩单.xlsx', sheet_name='Sheet1')

print(df.head())



输出：

      学号  姓名  语文  数学  英语
0  10001  赵一  85  85  85
1  10002  钱二  52  52  52
2  10003  张三  12  12  12
3  10004  李四  21  21  21
4  10005  王五  88  88  88

import pandas as pd

df = pd.read_excel('成绩单.xlsx', sheet_name='Sheet1', index_col=0)

print(df.head())



输出：

       姓名  语文  数学  英语
学号                   
10001  赵一  85  85  85
10002  钱二  52  52  52
10003  张三  12  12  12
10004  李四  21  21  21
10005  王五  88  88  88

import pandas as pd

df = pd.read_excel('成绩单.xlsx', sheet_name='Sheet2')

print(df.head())



输出：

       工号   姓名   部门  法定年假时数(H)  已休年假（H)  待休年假(H)
0  A00004   张四  总务部         60       14       46
1  A00013   李四  总务部         60       29       31
2  A00022   王四  总务部         40       28       12
3  A00031  王十三  总务部         40        0       40
4  A00040   刘三  总务部         40       14       26

import pandas as pd

df = pd.read_excel('成绩单.xlsx', sheet_name='Sheet1', index_col=0, dtype={'数学': float})

print(df.head())



输出：

       姓名  语文    数学  英语
学号                     
10001  赵一  85  85.0  85
10002  钱二  52  52.0  52
10003  张三  12  12.0  12
10004  李四  21  21.0  21
10005  王五  88  88.0  88

import pandas as pd

df = pd.read_excel('成绩单.xlsx', sheet_name='Sheet1', index_col=0, na_values={'姓名':"赵一"})


print(df.head())



输出：

        姓名  语文  数学  英语
学号                    
10001  NaN  85  85  85
10002   钱二  52  52  52
10003   张三  12  12  12
10004   李四  21  21  21
10005   王五  88  88  88

import pandas as pd

# 读取 Excel 文件，指定工作表名、列名行、数据类型、缺失值标识等参数
df = pd.read_excel('example.xlsx',
                   sheet_name='Sheet1',
                   header=1,  # 列名在第二行
                   names=['Name', 'Age', 'Grade'],  # 自定义列名
                   index_col='Name',  # 使用 'Name' 列作为行索引
                   usecols=['Name', 'Age'],  # 只读取 'Name' 和 'Age' 列
                   dtype={'Age': int},  # 指定 'Age' 列的数据类型
                   converters={'Name': str.upper},  # 将 'Name' 列的值转换为大写
                   true_values=['Yes'],  # 指定 'Yes' 为 True
                   false_values=['No'],  # 指定 'No' 为 False
                   keep_default_na=False,  # 不保留默认的缺失值标识
                   na_values=['NA', 'N/A'],  # 指定 'NA' 和 'N/A' 为缺失值
                   skiprows=[2],  # 跳过第三行
                   nrows=3  # 读取前三行数据
                   )

# 打印读取的数据框
print(df)

数据进行清洗、处理和分析之前需要获取行业数据。Python提供了多种方法要获取行业数据，包括使用API、网络爬虫和数据库连接。以下是一些通用的方法：

1. 使用数据API：许多行业和数据提供商提供API，允许开发者访问其数据。

2. 网络爬虫：您可以使用Python编写网络爬虫来从网站上抓取数据。使用库如Beautiful Soup和Scrapy可以更轻松地进行网页抓取。请确保遵守网站的使用政策和法律法规。

3. 数据库连接：如果行业数据存储在数据库中，您可以使用Python库（如SQLAlchemy、psycopg2等）来连接数据库，并执行SQL查询以检索数据。

4. 开源数据集：许多行业和领域有可用的开源数据集。您可以在数据科学和机器学习竞赛平台（如Kaggle）上找到这些数据集，或者使用Python库（如Pandas）来加载和分析它们。

5. 数据采集工具：一些数据采集工具，如Selenium，可以模拟用户操作浏览器，以获取特定网站上的数据。

6. 专业数据提供商：有些行业数据可能需要购买，而不是免费获取。专业数据提供商通常提供订阅服务，以获得高质量和实时数据。

无论选择哪种方法，都要确保遵守数据使用政策和法律法规，以确保数据的合法和合规使用。

行业数据API

Python可以使用各种行业数据API来获取不同领域的信息。以下是一些常见的行业数据API和它们可以提供的信息。这些API通常需要注册和获取API密钥，以便在Python应用程序中进行访问。开发者可以根据其特定需求选择合适的API，并查看官方文档以了解如何使用它们。一些API可能会有使用限制和费用，因此需要仔细研究它们的使用条款。

1. 金融数据API：

在国内，开发者可以申请并使用一些国际上免费提供的金融数据API，这些API通常提供了广泛的金融市场数据，包括股票、外汇、加密货币等。以下是一些国际上常见的免费金融数据API，可以在国内使用：

Alpha Vantage：Alpha Vantage提供了丰富的金融数据，包括股票、外汇和加密货币。他们提供了免费的API访问，同时也有一些高级功能需要付费。

Yahoo Finance：Yahoo Finance提供了股票市场数据的免费API，包括实时行情、历史数据和财务指标。这是一个常用的金融数据来源。

IEX Cloud：IEX Cloud提供了股票市场数据的免费API，包括美国股票市场的数据。他们也提供了一些高级功能需要付费。

Quandl：Quandl提供了广泛的金融和经济数据，包括股票、期货、外汇、经济指标等。他们有一个免费的API层，同时也提供了付费订阅。

Open Exchange Rates：Open Exchange Rates提供了外汇汇率数据的免费API，包括实时汇率和历史数据。

FRED (Federal Reserve Economic Data)：FRED由美国联邦储备系统提供，提供了经济数据的免费API，包括经济指标和数据系列。

在国内，有一些免费的金融数据API可以供开发者申请和使用。以下是一些国内常见的免费金融数据API：

新浪财经API：新浪财经提供了一些免费的金融数据API，包括股票、基金、期货等数据。开发者可以通过申请API Key来获取数据。

聚宽数据API：聚宽是一家提供金融数据服务的公司，他们提供了一些基本的免费API，包括A股股票数据和基金数据。需要注册并获取API Token。

米筐数据API：米筐数据提供了一些A股股票和基金的免费API，包括实时行情和历史数据。开发者可以在其官网注册并获取API Key。

雪球API：雪球是一家专注于股票数据的社交平台，他们提供了一些免费的股票数据API，包括实时行情和历史数据。

天天基金网API：天天基金网提供了一些免费的基金数据API，包括基金净值、基金排行等。需要注册并获取API Key。

Alpha Vantage API 提供了多种功能，主要用于获取实时和历史股票市场数据以及相关技术指标。以下是 Alpha Vantage API 的主要功能：

实时股票数据：您可以使用 Alpha Vantage API 获取实时股票价格、交易量和相关数据。这使您能够监控当前市场情况。

历史股票数据：API允许您检索特定日期范围内的历史股票数据，包括每日开盘价、收盘价、最高价和最低价。

技术指标：Alpha Vantage提供了超过50个技术指标，如移动平均线、相对强度指数（RSI）、布林带等，以帮助您分析股票走势。

股票搜索和元数据：您可以搜索特定股票的元数据，包括股票名称、交易所信息和市场信息。

外汇数据：API还支持获取外汇市场数据，包括不同货币对的实时价格。

加密货币数据：Alpha Vantage还提供了加密货币市场数据，允许您追踪比特币等加密货币的价格。

全球股票指数：API支持获取全球股票指数的数据，包括标普500、道琼斯工业平均指数等。

分析工具：Alpha Vantage还提供了分析工具，如技术指标计算器和股票策略回测，以帮助投资者更好地分析股票和市场。

Alpha Vantage API

import requests

# 替换成您的API密钥
api_key = 'T4ESMGDOV2YAMRUO' # 163


# 股票代码，例如苹果公司
symbol = 'AAPL'

# 构建API请求URL
url = f'https://www.alphavantage.co/query?function=TIME_SERIES_INTRADAY&symbol={symbol}&interval=1min&apikey={api_key}'

# 发送API请求
response = requests.get(url)

# 解析JSON响应
data = response.json()

# 提取实时股票价格
latest_price = data['Time Series (1min)'][list(data['Time Series (1min)'].keys())[0]]['1. open']

print(f'The latest price of {symbol} is {latest_price}')

输出：

The latest price of AAPL is 168.0110

2.天气数据API：

OpenWeatherMap：OpenWeatherMap提供了一个免费的API，允许您获取当前天气、未来预报和历史天气数据。您需要注册一个帐户，然后可以使用他们的API密钥来访问数据。

Weatherstack：Weatherstack也提供一个免费的API，可以获取全球范围内的天气数据，包括实时和预报数据。您需要注册并获取API密钥。

ClimaCell (Now Tomorrow.io)：ClimaCell提供了一些有关天气和气象的数据，他们有一个免费的开发者计划，可以使用API密钥来获取数据。

Weatherbit：Weatherbit提供一个免费的天气API，可以获取全球范围内的实时天气和预报数据。注册后，您可以获取API密钥。

Met Office (英国气象局)：Met Office提供了英国的天气数据，他们的API也包括免费访问级别。您需要注册并获得API密钥。

National Weather Service (美国国家气象局)：美国国家气象局提供了免费的API，可以获取美国境内的天气数据。您可以注册并获得API密钥。

2.天气数据API：

和风天气：和风天气提供了免费的API，允许您获取实时天气、未来预报、空气质量和其他气象数据。您需要注册一个帐户，然后可以获取API密钥。

心知天气：心知天气也提供了免费的天气API，可以获取全球范围内的实时天气和预报数据。您需要注册并获取API密钥。

中国天气网：中国天气网提供了一些免费的天气API，包括城市天气、气象预报和空气质量数据。您需要注册并获得API密钥。

气象数据云：气象数据云是中国气象局推出的免费天气数据服务，可以获取中国境内的各种气象数据。您需要注册并获取API密钥。

阿里云天气开放平台：阿里云也提供了免费的天气API，允许您获取全球范围内的天气数据。您需要注册并获取API密钥。

3. 地理数据API：

Google Maps API: 提供地理位置数据，包括地图、地理编码、路径规划等功能。
Mapbox API: 提供自定义地图和地理信息数据，用于地图可视化和分析。

4. 社交媒体数据API：

Twitter API: 允许访问Twitter上的实时社交媒体数据，包括推文、用户信息等。
Facebook Graph API: 提供对Facebook社交媒体平台数据的访问权限。

5. 健康数据API：

Fitbit API: 提供健康和运动数据，包括步数、心率、睡眠等信息。
MyFitnessPal API: 允许访问健身和饮食数据。

6. 新闻数据API：

News API: 提供新闻文章和头条新闻的数据，包括各种新闻来源。
New York Times API: 提供对《纽约时报》新闻文章的访问权限。

7. 电商数据API：

Amazon Product Advertising API: 提供对亚马逊网站上产品信息的访问权限，包括价格、评论等。

Python开源数据集:

Python拥有许多开源数据集，适用于各种应用领域，包括机器学习、数据分析和数据可视化等。以下是一些常见的Python开源数据集，涵盖不同领域：

Iris数据集：经典的机器学习数据集，包含三个不同种类的鸢尾花的测量数据，常用于分类问题。

MNIST手写数字数据集：包含大量手写数字的图像，用于图像识别和深度学习模型的训练。

CIFAR-10和CIFAR-100数据集：包含小图像的数据集，适用于图像分类和对象识别任务。

Titanic数据集：关于泰坦尼克号船上乘客的信息，可用于生存预测问题。

IMDB电影评论数据集：包含电影评论和情感标签，用于情感分析任务。

Wine数据集：关于不同种类的葡萄酒的化学分析数据，用于分类问题。

Boston Housing数据集：包含波士顿地区房屋价格的数据，用于回归问题。

Fashion MNIST：类似于MNIST，但包含时尚商品的图像，用于图像分类任务。

Yelp评论数据集：包含用户对商家的评论和评级，用于自然语言处理任务。

COVID-19数据集：包含关于COVID-19疫情的数据，可用于疫情分析和可视化。

UCI机器学习库：UCI机器学习库提供了大量机器学习数据集，涵盖多个领域。

OpenAI GPT-3 Playground：用于生成文本的数据集，可用于自然语言生成任务。

这些数据集通常可以通过Python库（如scikit-learn、TensorFlow、PyTorch等）或在线资源进行访问和下载。根据具体需求，可以选择合适的数据集用于项目或研究。

可处理的文件类型:

1. excel
2. word
3. ppt
4. pdf
5. mail
6. 文件_目录

自动化办公库(第三方库)：

xlwings
openpyxl
xlrd
xlwt
xlutils
xlsxwriter
pandas
python-docx
python-pptx
PyPDF2
NumPy
email

例1：柱状图

import matplotlib.pyplot as plt

# 创建图形和坐标轴
fig, ax = plt.subplots()

# 定义水果名称和数量
fruits = ['苹果', '蓝莓', '樱桃', '橙子']
counts = [40, 100, 30, 55]

# 设置柱状图的标签和颜色
bar_labels = ['红色', '蓝色', '红色', '橙色']
bar_colors = ['tab:red', 'tab:blue', 'tab:red', 'tab:orange']

# 创建柱状图
ax.bar(fruits, counts, label=bar_labels, color=bar_colors)

# 设置Y轴标签和图表标题
ax.set_ylabel('水果供应量')
ax.set_title('不同种类和颜色的水果供应')
ax.legend(title='水果颜色')

# 显示图表
plt.show()

例2：线图

import matplotlib.pyplot as plt
import numpy as np

# 创建数据
t = np.arange(0.0, 2.0, 0.01)  # 创建一个时间数组，范围从0到2秒，步长为0.01秒
s = 1 + np.sin(2 * np.pi * t)  # 创建一个正弦波信号

# 创建图形和坐标轴
fig, ax = plt.subplots()

# 绘制数据
ax.plot(t, s)

# 设置坐标轴标签和标题
ax.set(xlabel='time (s)', ylabel='voltage (mV)',
       title='About as simple as it gets, folks')

# 添加网格线
ax.grid()

# 保存图像为文件
fig.savefig("test.png")

# 显示图形
plt.show()

例3：等值线 contourf()

import matplotlib.pyplot as plt
import numpy as np
from numpy import ma

from matplotlib import cm, ticker

N = 100
x = np.linspace(-3.0, 3.0, N)  # 创建一个横坐标数组
y = np.linspace(-2.0, 2.0, N)  # 创建一个纵坐标数组

X, Y = np.meshgrid(x, y)  # 创建坐标网格

# 创建一个低矮的圆顶和一个尖峰
# 需要在z/颜色轴上使用对数刻度，以便同时显示圆顶和尖峰
# 线性刻度只显示尖峰。
Z1 = np.exp(-X**2 - Y**2)
Z2 = np.exp(-(X * 10)**2 - (Y * 10)**2)
z = Z1 + 50 * Z2

# 在左下角放入一些负值以引发对数刻度的问题：
z[:5, :5] = -1

# 以下部分不是绝对必要的，但可以消除警告。要查看警告，请将其注释掉。
z = ma.masked_where(z <= 0, z)

# 自动选择级别可以工作；设置对数定位器告诉contourf使用对数刻度：
fig, ax = plt.subplots()
cs = ax.contourf(X, Y, z, locator=ticker.LogLocator(), cmap=cm.PuBu_r)

# 或者，您可以手动设置级别和规范：
# lev_exp = np.arange(np.floor(np.log10(z.min())-1),
#                    np.ceil(np.log10(z.max())+1))
# levs = np.power(10, lev_exp)
# cs = ax.contourf(X, Y, z, levs, norm=colors.LogNorm())

cbar = fig.colorbar(cs)

plt.show()

例4：子图 subplot()

import matplotlib.pyplot as plt
import numpy as np

from matplotlib.patches import Polygon

# 定义一个函数f(t)，用于生成数据
def f(t):
    return np.exp(-t) * np.cos(2*np.pi*t)

# 创建一个时间范围
t1 = np.arange(0.0, 3.0, 0.01)

# 创建第一个子图，位置为2行1列中的第2个
ax1 = plt.subplot(212)
ax1.margins(0.05)  # 默认的边距是0.05，值为0表示自适应
ax1.plot(t1, f(t1))

# 创建第二个子图，位置为2行2列中的第1个
ax2 = plt.subplot(221)
ax2.margins(2, 2)  # 值大于0.0表示放大
ax2.plot(t1, f(t1))
ax2.set_title('Zoomed out')

# 创建第三个子图，位置为2行2列中的第2个
ax3 = plt.subplot(222)
ax3.margins(x=0, y=-0.25)  # 值在(-0.5, 0.0)之间表示缩小中心
ax3.plot(t1, f(t1))
ax3.set_title('Zoomed in')

# 显示图形
plt.show()

例5：3D plot_surface()

import matplotlib.pyplot as plt
import numpy as np

from matplotlib import cm
from matplotlib.ticker import LinearLocator

# 创建一个绘图窗口和3D子图
fig, ax = plt.subplots(subplot_kw={"projection": "3d"})

# 生成数据
X = np.arange(-5, 5, 0.25)
Y = np.arange(-5, 5, 0.25)
X, Y = np.meshgrid(X, Y)
R = np.sqrt(X**2 + Y**2)
Z = np.sin(R)

# 绘制三维表面
surf = ax.plot_surface(X, Y, Z, cmap=cm.coolwarm,
                       linewidth=0, antialiased=False)

# 自定义Z轴
ax.set_zlim(-1.01, 1.01)
ax.zaxis.set_major_locator(LinearLocator(10))
# 使用StrMethodFormatter自动设置Z轴标签格式
ax.zaxis.set_major_formatter('{x:.02f}')

# 添加颜色条，将数值映射到颜色
fig.colorbar(surf, shrink=0.5, aspect=5)

# 显示图形
plt.show()

例6：3D plot_surface()

import matplotlib.pyplot as plt
import numpy as np

# 创建一个绘图窗口
fig = plt.figure()

# 添加一个3D子图
ax = fig.add_subplot(projection='3d')

# 生成数据
u = np.linspace(0, 2 * np.pi, 100)
v = np.linspace(0, np.pi, 100)
x = 10 * np.outer(np.cos(u), np.sin(v))
y = 10 * np.outer(np.sin(u), np.sin(v))
z = 10 * np.outer(np.ones(np.size(u)), np.cos(v))

# 绘制三维曲面
ax.plot_surface(x, y, z)

# 设置等比例显示
ax.set_aspect('equal')

# 显示图形
plt.show()

例7：3D contour

import matplotlib.pyplot as plt

# 导入3D绘图工具包
from mpl_toolkits.mplot3d import axes3d

# 创建一个3D子图
ax = plt.figure().add_subplot(projection='3d')

# 获取测试数据，X、Y、Z分别代表坐标轴数据
X, Y, Z = axes3d.get_test_data(0.05)

# 绘制3D曲面
ax.plot_surface(X, Y, Z, edgecolor='royalblue', lw=0.5, rstride=8, cstride=8, alpha=0.3)

# 绘制每个维度的等高线投影
ax.contour(X, Y, Z, zdir='z', offset=-100, cmap='coolwarm')
ax.contour(X, Y, Z, zdir='x', offset=-40, cmap='coolwarm')
ax.contour(X, Y, Z, zdir='y', offset=40, cmap='coolwarm')

# 设置坐标轴范围和标签
ax.set(xlim=(-40, 40), ylim=(-40, 40), zlim=(-100, 100),
       xlabel='X', ylabel='Y', zlabel='Z')

# 显示图形
plt.show()

contour 和 contourf 是用于绘制等高线图的两个Matplotlib函数，它们有一些联系和区别。

联系：

绘制等高线： 两者都用于绘制二维数据的等高线，以展示数据的轮廓和变化。

参数相似： contour 和 contourf 使用的参数大部分相似，包括数据数组、X和Y坐标、等高线级别等。

颜色映射： 两者都可以通过指定颜色映射（cmap）来调整等高线的颜色。

区别：

填充效果： 最主要的区别是填充效果。contour 绘制的等高线是空心的，而 contourf 绘制的等高线是实心的，可以用颜色填充等高线之间的区域。

返回值： contour 返回一个等高线集合（ContourSet），而 contourf 返回一个填充等高线集合。这意味着你可以通过不同的方法访问和处理这些对象。