没有合适的资源?快使用搜索试试~ 我知道了~
首页pandas:强大的Python数据分析工具包
pandas:强大的Python数据分析工具包
需积分: 9 5 下载量 2 浏览量
更新于2024-07-18
收藏 12.47MB PDF 举报
"pandas:强大的Python数据分析工具包"
在Python的数据科学领域,pandas库是不可或缺的一部分,它提供了一个高效且灵活的数据结构,用于处理和分析数据。pandas的全称为"Panel Data",但其核心数据结构是DataFrame,一个二维表格型数据结构,能够存储各种类型的数据(如整数、浮点数、字符串、日期等)。DataFrame具有行和列的索引,使得数据操作变得简单直观。
pandas库的特性包括:
1. **高效性能**:pandas使用了NumPy库作为底层支持,对大型数据集处理具有出色性能。它还优化了许多常见数据操作,如合并、分组和筛选。
2. **易用性**:pandas提供了丰富的内置函数和方法,使得数据清洗、转换、聚合等任务变得轻松。例如,`read_csv`函数用于从CSV文件中读取数据,`to_csv`用于将数据写入CSV文件。
3. **时间序列分析**:pandas支持时间序列数据,提供`DateRange`和`Timedelta`等类,以及如`resample`、`rolling`等时间窗口操作,用于计算滑动窗口统计量。
4. **数据融合**:`merge`函数允许用户根据特定键进行数据融合,类似于SQL中的JOIN操作。在版本0.19.2中,增加了`merge_asof`功能,用于基于近似时间匹配的数据连接。
5. **数据分桶(Binning)和分类**:pandas的`cut`和`qcut`函数可用于创建数据的分箱,而`Categorical`数据类型则允许对离散变量进行高效的处理。
6. **缺失数据处理**:pandas使用`NaN`表示缺失值,并提供了诸如`fillna`、`dropna`等方法来处理这些缺失数据。
7. **数据重塑**:`pivot`、`stack`和`unstack`等函数可用于数据的重新排列,将宽表和长表之间转换。
8. **数据可视化**:虽然pandas本身不包含复杂的绘图功能,但它与matplotlib和seaborn等库结合,可以轻松创建数据可视化图表。
9. **API改进**:随着版本的更新,pandas不断优化API,例如在0.19.2中,`tolist()`方法返回Python原生类型,`to_datetime()`函数的更改,以及对不同索引下的操作符行为的调整,提升了用户体验和性能。
pandas的广泛使用和持续的开发使其成为了Python数据分析的标准工具,无论你是初学者还是经验丰富的数据科学家,都能从中受益。通过掌握pandas,你可以更有效地探索、清理和准备数据,为进一步的建模和可视化工作打下坚实基础。
18.3 Timeseries friendly merging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 705
18.3.1 Merging Ordered Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 705
18.3.2 Merging AsOf . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 706
19 Reshaping and Pivot Tables 709
19.1 Reshaping by pivoting DataFrame objects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 709
19.2 Reshaping by stacking and unstacking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 710
19.2.1 Multiple Levels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 712
19.2.2 Missing Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 713
19.2.3 With a MultiIndex . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 715
19.3 Reshaping by Melt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 716
19.4 Combining with stats and GroupBy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 717
19.5 Pivot tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 718
19.5.1 Adding margins . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 721
19.6 Cross tabulations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 721
19.6.1 Normalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 723
19.6.2 Adding Margins . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 723
19.7 Tiling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 724
19.8 Computing indicator / dummy variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 724
19.9 Factorizing values . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 727
20 Time Series / Date functionality 729
20.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 730
20.2 Time Stamps vs. Time Spans . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 730
20.3 Converting to Timestamps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 731
20.3.1 Invalid Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 733
20.3.2 Epoch Timestamps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 733
20.4 Generating Ranges of Timestamps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 734
20.5 Timestamp limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 736
20.6 DatetimeIndex . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 736
20.6.1 DatetimeIndex Partial String Indexing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 737
20.6.2 Datetime Indexing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 742
20.6.3 Truncating & Fancy Indexing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 743
20.6.4 Time/Date Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 743
20.7 DateOffset objects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 744
20.7.1 Parametric offsets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 746
20.7.2 Using offsets with Series / DatetimeIndex . . . . . . . . . . . . . . . . . . . . . . . 747
20.7.3 Custom Business Days (Experimental) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 748
20.7.4 Business Hour . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 750
20.7.5 Custom Business Hour . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 752
20.7.6 Offset Aliases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 752
20.7.7 Combining Aliases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 753
20.7.8 Anchored Offsets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 754
20.7.9 Anchored Offset Semantics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 755
20.7.10 Holidays / Holiday Calendars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 756
20.8 Time series-related instance methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 758
20.8.1 Shifting / lagging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 758
20.8.2 Frequency conversion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 759
20.8.3 Filling forward / backward . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 759
20.8.4 Converting to Python datetimes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 760
20.9 Resampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 760
20.9.1 Up Sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 761
20.9.2 Sparse Resampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 762
20.9.3 Aggregation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 763
xiv
20.10 Time Span Representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 766
20.10.1 Period . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 766
20.10.2 PeriodIndex and period_range . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 768
20.10.3 Period Dtypes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 769
20.10.4 PeriodIndex Partial String Indexing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 770
20.10.5 Frequency Conversion and Resampling with PeriodIndex . . . . . . . . . . . . . . . . . . . 772
20.11 Converting between Representations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 773
20.12 Representing out-of-bounds spans . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 774
20.13 Time Zone Handling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 775
20.13.1 Working with Time Zones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 775
20.13.2 Ambiguous Times when Localizing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 779
20.13.3 TZ aware Dtypes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 781
21 Time Deltas 785
21.1 Parsing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 785
21.1.1 to_timedelta . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 786
21.1.2 Timedelta limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 787
21.2 Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 787
21.3 Reductions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 791
21.4 Frequency Conversion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 791
21.5 Attributes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 793
21.6 TimedeltaIndex . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 794
21.6.1 Using the TimedeltaIndex . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 795
21.6.2 Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 796
21.6.3 Conversions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 796
21.7 Resampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 797
22 Categorical Data 799
22.1 Object Creation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 799
22.2 Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 802
22.3 Working with categories . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 803
22.3.1 Renaming categories . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 804
22.3.2 Appending new categories . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 805
22.3.3 Removing categories . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 805
22.3.4 Removing unused categories . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 805
22.3.5 Setting categories . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 806
22.4 Sorting and Order . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 806
22.4.1 Reordering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 808
22.4.2 Multi Column Sorting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 809
22.5 Comparisons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 809
22.6 Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 811
22.7 Data munging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 812
22.7.1 Getting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 813
22.7.2 String and datetime accessors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 814
22.7.3 Setting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 815
22.7.4 Merging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 817
22.7.5 Unioning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 817
22.7.6 Concatenation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 819
22.8 Getting Data In/Out . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 820
22.9 Missing Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 821
22.10 Differences to R’s factor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 822
22.11 Gotchas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 823
22.11.1 Memory Usage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 823
22.11.2 Old style constructor usage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 823
xv
22.11.3 Categorical is not a numpy array . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 824
22.11.4 dtype in apply . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 825
22.11.5 Categorical Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 825
22.11.6 Side Effects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 826
23 Visualization 829
23.1 Basic Plotting: plot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 829
23.2 Other Plots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 832
23.2.1 Bar plots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 834
23.2.2 Histograms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 837
23.2.3 Box Plots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 843
23.2.4 Area Plot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 851
23.2.5 Scatter Plot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 853
23.2.6 Hexagonal Bin Plot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 857
23.2.7 Pie plot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 859
23.3 Plotting with Missing Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 863
23.4 Plotting Tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 864
23.4.1 Scatter Matrix Plot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 864
23.4.2 Density Plot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 865
23.4.3 Andrews Curves . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 866
23.4.4 Parallel Coordinates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 867
23.4.5 Lag Plot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 868
23.4.6 Autocorrelation Plot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 869
23.4.7 Bootstrap Plot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 870
23.4.8 RadViz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 871
23.5 Plot Formatting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 872
23.5.1 Controlling the Legend . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 873
23.5.2 Scales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 874
23.5.3 Plotting on a Secondary Y-axis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 875
23.5.4 Suppressing Tick Resolution Adjustment . . . . . . . . . . . . . . . . . . . . . . . . . . . 878
23.5.5 Subplots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 881
23.5.6 Using Layout and Targeting Multiple Axes . . . . . . . . . . . . . . . . . . . . . . . . . . 882
23.5.7 Plotting With Error Bars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 885
23.5.8 Plotting Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 887
23.5.9 Colormaps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 890
23.6 Plotting directly with matplotlib . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 895
23.7 Trellis plotting interface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 896
24 Style 897
25 IO Tools (Text, CSV, HDF5, ...) 899
25.1 CSV & Text files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 900
25.1.1 Parsing options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 900
Basic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 900
Column and Index Locations and Names . . . . . . . . . . . . . . . . . . . . . . . . . . . . 900
General Parsing Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 901
NA and Missing Data Handling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 902
Datetime Handling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 902
Iteration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 902
Quoting, Compression, and File Format . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 903
Error Handling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 903
25.1.2 Specifying column data types . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 905
25.1.3 Specifying Categorical dtype . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 907
25.1.4 Naming and Using Columns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 908
xvi
Handling column names . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 908
25.1.5 Duplicate names parsing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 909
Filtering columns (usecols) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 910
25.1.6 Comments and Empty Lines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 910
Ignoring line comments and empty lines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 911
Comments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 912
25.1.7 Dealing with Unicode Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 913
25.1.8 Index columns and trailing delimiters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 913
25.1.9 Date Handling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 914
Specifying Date Columns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 914
Date Parsing Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 916
Inferring Datetime Format . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 917
International Date Formats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 918
25.1.10 Specifying method for floating-point conversion . . . . . . . . . . . . . . . . . . . . . . . . 918
25.1.11 Thousand Separators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 918
25.1.12 NA Values . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 919
25.1.13 Infinity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 920
25.1.14 Returning Series . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 920
25.1.15 Boolean values . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 920
25.1.16 Handling “bad” lines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 921
25.1.17 Quoting and Escape Characters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 921
25.1.18 Files with Fixed Width Columns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 921
25.1.19 Indexes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 923
Files with an “implicit” index column . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 923
Reading an index with a MultiIndex . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 923
Reading columns with a MultiIndex . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 924
25.1.20 Automatically “sniffing” the delimiter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 925
25.1.21 Iterating through files chunk by chunk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 926
25.1.22 Specifying the parser engine . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 927
25.1.23 Writing out Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 927
Writing to CSV format . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 927
Writing a formatted string . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 928
25.2 JSON . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 929
25.2.1 Writing JSON . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 929
Orient Options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 930
Date Handling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 931
Fallback Behavior . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 932
25.2.2 Reading JSON . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 933
Data Conversion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 934
The Numpy Parameter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 936
25.2.3 Normalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 937
25.2.4 Line delimited json . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 938
25.3 HTML . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 938
25.3.1 Reading HTML Content . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 938
25.3.2 Writing to HTML files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 943
25.4 Excel files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 946
25.4.1 Reading Excel Files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 946
ExcelFile class . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 947
Specifying Sheets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 947
Reading a MultiIndex . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 948
Parsing Specific Columns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 950
Cell Converters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 950
25.4.2 Writing Excel Files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 950
Writing Excel Files to Disk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 950
xvii
Writing Excel Files to Memory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 951
25.4.3 Excel writer engines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 951
25.5 Clipboard . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 952
25.6 Pickling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 953
25.7 msgpack (experimental) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 954
25.7.1 Read/Write API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 956
25.8 HDF5 (PyTables) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 957
25.8.1 Read/Write API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 959
25.8.2 Fixed Format . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 960
25.8.3 Table Format . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 961
25.8.4 Hierarchical Keys . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 962
25.8.5 Storing Types . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 963
Storing Mixed Types in a Table . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 963
Storing Multi-Index DataFrames . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 964
25.8.6 Querying . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 965
Querying a Table . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 965
Using timedelta64[ns] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 969
Indexing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 969
Query via Data Columns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 971
Iterator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 972
Advanced Queries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 973
Multiple Table Queries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 975
25.8.7 Delete from a Table . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 977
25.8.8 Notes & Caveats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 978
Compression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 978
ptrepack . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 978
Caveats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 979
25.8.9 DataTypes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 979
Categorical Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 979
String Columns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 981
25.8.10 External Compatibility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 982
25.8.11 Backwards Compatibility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 984
25.8.12 Performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 985
25.8.13 Experimental . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 985
25.9 SQL Queries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 987
25.9.1 pandas.read_sql_table . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 988
25.9.2 pandas.read_sql_query . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 989
25.9.3 pandas.read_sql . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 990
25.9.4 pandas.DataFrame.to_sql . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 991
25.9.5 Writing DataFrames . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 992
SQL data types . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 992
25.9.6 Reading Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 993
25.9.7 Schema support . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 993
25.9.8 Querying . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 994
25.9.9 Engine connection examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 995
25.9.10 Advanced SQLAlchemy queries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 995
25.9.11 Sqlite fallback . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 996
25.10 Google BigQuery (Experimental) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 996
25.10.1 pandas.io.gbq.read_gbq . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 997
25.10.2 pandas.io.gbq.to_gbq . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 998
25.10.3 Authentication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 999
25.10.4 Querying . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1000
25.10.5 Writing DataFrames . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1000
25.10.6 Creating BigQuery Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1002
xviii
剩余1948页未读,继续阅读
2021-03-29 上传
2022-04-11 上传
2023-05-19 上传
2023-02-13 上传
2023-09-07 上传
2023-08-09 上传
2023-04-30 上传
2023-08-19 上传
2023-07-27 上传
123ge
- 粉丝: 0
- 资源: 1
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 磁性吸附笔筒设计创新,行业文档精选
- Java Swing实现的俄罗斯方块游戏代码分享
- 骨折生长的二维与三维模型比较分析
- 水彩花卉与羽毛无缝背景矢量素材
- 设计一种高效的袋料分离装置
- 探索4.20图包.zip的奥秘
- RabbitMQ 3.7.x延时消息交换插件安装与操作指南
- 解决NLTK下载停用词失败的问题
- 多系统平台的并行处理技术研究
- Jekyll项目实战:网页设计作业的入门练习
- discord.js v13按钮分页包实现教程与应用
- SpringBoot与Uniapp结合开发短视频APP实战教程
- Tensorflow学习笔记深度解析:人工智能实践指南
- 无服务器部署管理器:防止错误部署AWS帐户
- 医疗图标矢量素材合集:扁平风格16图标(PNG/EPS/PSD)
- 人工智能基础课程汇报PPT模板下载
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功