没有合适的资源?快使用搜索试试~ 我知道了~
首页Python Pandas 0.19.0分析工具手册更新
"Python Pandas 手册下载"
Python Pandas 是一个强大的数据分析工具包,用于处理和操作结构化的数据。这个手册是版本0.19.0,由Wes McKinney和PyData Development Team在2016年10月2日发布。手册包含了新功能、API变化以及其他增强,旨在帮助用户更好地理解和利用Pandas库。
1. **新功能**:
- **merge_asof/as_of风格的时间序列连接**:提供了更灵活的数据连接方式,特别是在处理时间序列数据时。
- **.rolling()现在对时间序列敏感**:允许用户基于时间窗口进行计算,如滑动平均或滑动统计。
- **read_csv现在支持重复列名**:改进了读取CSV文件时处理重复列名的功能。
- **直接解析Categorical数据类型**:read_csv现在可以直接识别并处理分类数据。
- **Categorical Concatenation**:增强了对分类数据的拼接操作。
- **Semi-Month Offsets**:新增了半月份的偏移量,方便处理按半月度计算的日期。
- **新的Index方法**:提供了更多对索引操作的方法,增加了灵活性。
- **Google BigQuery增强**:Pandas与Google BigQuery的集成得到了优化。
- **细粒度的numpy错误状态**:允许更精确地控制numpy计算中的错误处理。
- **get_dummies返回整数数据类型**:one-hot编码结果现在默认为整数。
- **downcast_to_smallest_possible_type()到numeric**:自动将值转换为可能的最小数据类型。
- **Pandas开发API**:为开发者提供了更多的工具和接口。
2. **API变化**:
- **Series.tolist()现在返回Python类型**:以前可能返回numpy数组,现在改为返回列表。
- **Series操作符处理不同索引**:处理索引不匹配的Series时的行为有所调整。
- **Series类型推广在赋值时**:当向Series分配不同数据类型时,可能会改变Series的类型。
- **.to_datetime()的更改**:日期时间转换函数的行为进行了调整。
- **合并操作的变化**:merge函数的参数和行为可能有所更新。
- **.describe()的更改**:描述性统计函数的输出可能有所不同。
- **Period的更改**:与Period相关的函数和属性可能有所调整。
- **Index + / -不再用于集合操作**:这些运算符现在只进行算术运算,不用于设置操作。
- **Index.difference和.symmetric_difference的更改**:这两个方法的行为现在更一致。
- **Index.unique始终返回Index**:无论输入如何,返回的唯一索引始终是Index对象。
这些变化和增强为用户提供了更多的功能和更高效的处理数据的方式,使得Pandas在数据分析领域更加得心应手。手册详细地介绍了每个新特性,帮助用户逐步适应并充分利用这些改进。对于那些经常使用Pandas进行数据清洗、预处理和分析的Python开发者来说,这个手册是必不可少的参考资源。
19.2 Reshaping by stacking and unstacking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 706
19.2.1 Multiple Levels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 708
19.2.2 Missing Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 709
19.2.3 With a MultiIndex . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 711
19.3 Reshaping by Melt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 712
19.4 Combining with stats and GroupBy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 713
19.5 Pivot tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 714
19.5.1 Adding margins . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 717
19.6 Cross tabulations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 717
19.6.1 Normalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 719
19.6.2 Adding Margins . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 719
19.7 Tiling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 720
19.8 Computing indicator / dummy variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 720
19.9 Factorizing values . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 723
20 Time Series / Date functionality 725
20.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 726
20.2 Time Stamps vs. Time Spans . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 726
20.3 Converting to Timestamps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 727
20.3.1 Invalid Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 729
20.3.2 Epoch Timestamps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 729
20.4 Generating Ranges of Timestamps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 730
20.5 Timestamp limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 732
20.6 DatetimeIndex . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 732
20.6.1 DatetimeIndex Partial String Indexing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 733
20.6.2 Datetime Indexing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 738
20.6.3 Truncating & Fancy Indexing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 739
20.6.4 Time/Date Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 739
20.7 DateOffset objects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 740
20.7.1 Parametric offsets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 742
20.7.2 Using offsets with Series / DatetimeIndex . . . . . . . . . . . . . . . . . . . . . . . 743
20.7.3 Custom Business Days (Experimental) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 744
20.7.4 Business Hour . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 746
20.7.5 Custom Business Hour . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 748
20.7.6 Offset Aliases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 748
20.7.7 Combining Aliases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 749
20.7.8 Anchored Offsets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 750
20.7.9 Anchored Offset Semantics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 751
20.7.10 Holidays / Holiday Calendars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 752
20.8 Time series-related instance methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 754
20.8.1 Shifting / lagging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 754
20.8.2 Frequency conversion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 755
20.8.3 Filling forward / backward . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 755
20.8.4 Converting to Python datetimes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 756
20.9 Resampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 756
20.9.1 Up Sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 757
20.9.2 Sparse Resampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 758
20.9.3 Aggregation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 759
20.10 Time Span Representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 762
20.10.1 Period . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 762
20.10.2 PeriodIndex and period_range . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 764
20.10.3 Period Dtypes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 765
20.10.4 PeriodIndex Partial String Indexing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 766
20.10.5 Frequency Conversion and Resampling with PeriodIndex . . . . . . . . . . . . . . . . . . . 768
xiv
20.11 Converting between Representations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 769
20.12 Representing out-of-bounds spans . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 770
20.13 Time Zone Handling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 771
20.13.1 Working with Time Zones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 771
20.13.2 Ambiguous Times when Localizing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 775
20.13.3 TZ aware Dtypes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 777
21 Time Deltas 781
21.1 Parsing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 781
21.1.1 to_timedelta . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 782
21.1.2 Timedelta limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 783
21.2 Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 783
21.3 Reductions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 787
21.4 Frequency Conversion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 787
21.5 Attributes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 789
21.6 TimedeltaIndex . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 790
21.6.1 Using the TimedeltaIndex . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 791
21.6.2 Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 792
21.6.3 Conversions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 792
21.7 Resampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 793
22 Categorical Data 795
22.1 Object Creation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 795
22.2 Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 798
22.3 Working with categories . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 799
22.3.1 Renaming categories . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 800
22.3.2 Appending new categories . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 801
22.3.3 Removing categories . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 801
22.3.4 Removing unused categories . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 801
22.3.5 Setting categories . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 802
22.4 Sorting and Order . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 802
22.4.1 Reordering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 804
22.4.2 Multi Column Sorting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 805
22.5 Comparisons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 805
22.6 Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 807
22.7 Data munging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 808
22.7.1 Getting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 809
22.7.2 String and datetime accessors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 810
22.7.3 Setting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 811
22.7.4 Merging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 813
22.7.5 Unioning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 813
22.7.6 Concatenation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 815
22.8 Getting Data In/Out . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 816
22.9 Missing Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 817
22.10 Differences to R’s factor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 818
22.11 Gotchas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 819
22.11.1 Memory Usage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 819
22.11.2 Old style constructor usage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 819
22.11.3 Categorical is not a numpy array . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 820
22.11.4 dtype in apply . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 821
22.11.5 Categorical Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 821
22.11.6 Side Effects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 822
23 Visualization 825
xv
23.1 Basic Plotting: plot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 825
23.2 Other Plots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 828
23.2.1 Bar plots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 830
23.2.2 Histograms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 833
23.2.3 Box Plots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 839
23.2.4 Area Plot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 847
23.2.5 Scatter Plot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 849
23.2.6 Hexagonal Bin Plot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 853
23.2.7 Pie plot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 855
23.3 Plotting with Missing Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 859
23.4 Plotting Tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 860
23.4.1 Scatter Matrix Plot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 860
23.4.2 Density Plot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 861
23.4.3 Andrews Curves . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 862
23.4.4 Parallel Coordinates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 863
23.4.5 Lag Plot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 864
23.4.6 Autocorrelation Plot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 865
23.4.7 Bootstrap Plot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 866
23.4.8 RadViz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 867
23.5 Plot Formatting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 868
23.5.1 Controlling the Legend . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 869
23.5.2 Scales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 870
23.5.3 Plotting on a Secondary Y-axis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 871
23.5.4 Suppressing Tick Resolution Adjustment . . . . . . . . . . . . . . . . . . . . . . . . . . . 874
23.5.5 Subplots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 877
23.5.6 Using Layout and Targeting Multiple Axes . . . . . . . . . . . . . . . . . . . . . . . . . . 878
23.5.7 Plotting With Error Bars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 881
23.5.8 Plotting Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 883
23.5.9 Colormaps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 886
23.6 Plotting directly with matplotlib . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 891
23.7 Trellis plotting interface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 892
24 Style 893
25 IO Tools (Text, CSV, HDF5, ...) 895
25.1 CSV & Text files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 896
25.1.1 Parsing options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 896
Basic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 896
Column and Index Locations and Names . . . . . . . . . . . . . . . . . . . . . . . . . . . . 896
General Parsing Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 897
NA and Missing Data Handling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 898
Datetime Handling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 898
Iteration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 898
Quoting, Compression, and File Format . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 899
Error Handling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 899
25.1.2 Specifying column data types . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 901
25.1.3 Specifying Categorical dtype . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 903
25.1.4 Naming and Using Columns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 904
Handling column names . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 904
25.1.5 Duplicate names parsing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 905
Filtering columns (usecols) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 906
25.1.6 Comments and Empty Lines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 906
Ignoring line comments and empty lines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 907
Comments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 908
xvi
25.1.7 Dealing with Unicode Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 909
25.1.8 Index columns and trailing delimiters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 909
25.1.9 Date Handling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 910
Specifying Date Columns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 910
Date Parsing Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 912
Inferring Datetime Format . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 913
International Date Formats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 914
25.1.10 Specifying method for floating-point conversion . . . . . . . . . . . . . . . . . . . . . . . . 914
25.1.11 Thousand Separators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 914
25.1.12 NA Values . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 915
25.1.13 Infinity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 916
25.1.14 Returning Series . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 916
25.1.15 Boolean values . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 916
25.1.16 Handling “bad” lines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 917
25.1.17 Quoting and Escape Characters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 917
25.1.18 Files with Fixed Width Columns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 917
25.1.19 Indexes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 919
Files with an “implicit” index column . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 919
Reading an index with a MultiIndex . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 919
Reading columns with a MultiIndex . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 920
25.1.20 Automatically “sniffing” the delimiter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 921
25.1.21 Iterating through files chunk by chunk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 922
25.1.22 Specifying the parser engine . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 923
25.1.23 Writing out Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 923
Writing to CSV format . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 923
Writing a formatted string . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 924
25.2 JSON . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 925
25.2.1 Writing JSON . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 925
Orient Options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 926
Date Handling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 927
Fallback Behavior . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 928
25.2.2 Reading JSON . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 928
Data Conversion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 929
The Numpy Parameter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 932
25.2.3 Normalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 933
25.2.4 Line delimited json . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 934
25.3 HTML . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 934
25.3.1 Reading HTML Content . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 934
25.3.2 Writing to HTML files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 938
25.4 Excel files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 942
25.4.1 Reading Excel Files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 942
ExcelFile class . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 942
Specifying Sheets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 943
Reading a MultiIndex . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 944
Parsing Specific Columns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 945
Cell Converters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 946
25.4.2 Writing Excel Files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 946
Writing Excel Files to Disk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 946
Writing Excel Files to Memory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 946
25.4.3 Excel writer engines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 947
25.5 Clipboard . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 948
25.6 Pickling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 949
25.7 msgpack (experimental) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 949
25.7.1 Read/Write API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 952
xvii
25.8 HDF5 (PyTables) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 952
25.8.1 Read/Write API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 954
25.8.2 Fixed Format . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 956
25.8.3 Table Format . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 956
25.8.4 Hierarchical Keys . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 957
25.8.5 Storing Types . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 958
Storing Mixed Types in a Table . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 958
Storing Multi-Index DataFrames . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 960
25.8.6 Querying . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 960
Querying a Table . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 961
Using timedelta64[ns] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 964
Indexing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 965
Query via Data Columns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 966
Iterator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 968
Advanced Queries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 969
Multiple Table Queries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 971
25.8.7 Delete from a Table . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 973
25.8.8 Notes & Caveats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 973
Compression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 973
ptrepack . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 974
Caveats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 974
25.8.9 DataTypes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 975
Categorical Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 975
String Columns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 976
25.8.10 External Compatibility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 978
25.8.11 Backwards Compatibility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 979
25.8.12 Performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 980
25.8.13 Experimental . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 981
25.9 SQL Queries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 983
25.9.1 pandas.read_sql_table . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 983
25.9.2 pandas.read_sql_query . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 984
25.9.3 pandas.read_sql . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 985
25.9.4 pandas.DataFrame.to_sql . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 986
25.9.5 Writing DataFrames . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 987
SQL data types . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 988
25.9.6 Reading Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 988
25.9.7 Schema support . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 989
25.9.8 Querying . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 989
25.9.9 Engine connection examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 991
25.9.10 Advanced SQLAlchemy queries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 991
25.9.11 Sqlite fallback . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 992
25.10 Google BigQuery (Experimental) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 992
25.10.1 pandas.io.gbq.read_gbq . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 993
25.10.2 pandas.io.gbq.to_gbq . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 994
25.10.3 Authentication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 995
25.10.4 Querying . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 995
25.10.5 Writing DataFrames . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 996
25.10.6 Creating BigQuery Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 997
25.11 Stata Format . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 998
25.11.1 Writing to Stata format . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 998
25.11.2 Reading from Stata format . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 999
Categorical Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1000
25.12 SAS Formats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1000
25.13 Other file formats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1001
xviii
剩余1936页未读,继续阅读
2016-11-08 上传
2019-09-04 上传
2017-10-01 上传
2023-04-12 上传
2018-09-23 上传
2022-03-29 上传
普通网友
- 粉丝: 222
- 资源: 28
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- MATLAB实现小波阈值去噪:Visushrink硬软算法对比
- 易语言实现画板图像缩放功能教程
- 大模型推荐系统: 优化算法与模型压缩技术
- Stancy: 静态文件驱动的简单RESTful API与前端框架集成
- 掌握Java全文搜索:深入Apache Lucene开源系统
- 19计应19田超的Python7-1试题整理
- 易语言实现多线程网络时间同步源码解析
- 人工智能大模型学习与实践指南
- 掌握Markdown:从基础到高级技巧解析
- JS-PizzaStore: JS应用程序模拟披萨递送服务
- CAMV开源XML编辑器:编辑、验证、设计及架构工具集
- 医学免疫学情景化自动生成考题系统
- 易语言实现多语言界面编程教程
- MATLAB实现16种回归算法在数据挖掘中的应用
- ***内容构建指南:深入HTML与LaTeX
- Python实现维基百科“历史上的今天”数据抓取教程
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功