没有合适的资源?快使用搜索试试~ 我知道了~
首页pandas:强大的Python数据分析工具包
pandas:强大的Python数据分析工具包
需积分: 9 5 下载量 21 浏览量
更新于2024-07-18
收藏 12.47MB PDF 举报
"pandas:强大的Python数据分析工具包"
在Python的数据科学领域,pandas库是不可或缺的一部分,它提供了一个高效且灵活的数据结构,用于处理和分析数据。pandas的全称为"Panel Data",但其核心数据结构是DataFrame,一个二维表格型数据结构,能够存储各种类型的数据(如整数、浮点数、字符串、日期等)。DataFrame具有行和列的索引,使得数据操作变得简单直观。
pandas库的特性包括:
1. **高效性能**:pandas使用了NumPy库作为底层支持,对大型数据集处理具有出色性能。它还优化了许多常见数据操作,如合并、分组和筛选。
2. **易用性**:pandas提供了丰富的内置函数和方法,使得数据清洗、转换、聚合等任务变得轻松。例如,`read_csv`函数用于从CSV文件中读取数据,`to_csv`用于将数据写入CSV文件。
3. **时间序列分析**:pandas支持时间序列数据,提供`DateRange`和`Timedelta`等类,以及如`resample`、`rolling`等时间窗口操作,用于计算滑动窗口统计量。
4. **数据融合**:`merge`函数允许用户根据特定键进行数据融合,类似于SQL中的JOIN操作。在版本0.19.2中,增加了`merge_asof`功能,用于基于近似时间匹配的数据连接。
5. **数据分桶(Binning)和分类**:pandas的`cut`和`qcut`函数可用于创建数据的分箱,而`Categorical`数据类型则允许对离散变量进行高效的处理。
6. **缺失数据处理**:pandas使用`NaN`表示缺失值,并提供了诸如`fillna`、`dropna`等方法来处理这些缺失数据。
7. **数据重塑**:`pivot`、`stack`和`unstack`等函数可用于数据的重新排列,将宽表和长表之间转换。
8. **数据可视化**:虽然pandas本身不包含复杂的绘图功能,但它与matplotlib和seaborn等库结合,可以轻松创建数据可视化图表。
9. **API改进**:随着版本的更新,pandas不断优化API,例如在0.19.2中,`tolist()`方法返回Python原生类型,`to_datetime()`函数的更改,以及对不同索引下的操作符行为的调整,提升了用户体验和性能。
pandas的广泛使用和持续的开发使其成为了Python数据分析的标准工具,无论你是初学者还是经验丰富的数据科学家,都能从中受益。通过掌握pandas,你可以更有效地探索、清理和准备数据,为进一步的建模和可视化工作打下坚实基础。
![](https://csdnimg.cn/release/download_crawler_static/10398645/bg10.jpg)
18.3 Timeseries friendly merging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 705
18.3.1 Merging Ordered Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 705
18.3.2 Merging AsOf . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 706
19 Reshaping and Pivot Tables 709
19.1 Reshaping by pivoting DataFrame objects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 709
19.2 Reshaping by stacking and unstacking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 710
19.2.1 Multiple Levels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 712
19.2.2 Missing Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 713
19.2.3 With a MultiIndex . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 715
19.3 Reshaping by Melt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 716
19.4 Combining with stats and GroupBy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 717
19.5 Pivot tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 718
19.5.1 Adding margins . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 721
19.6 Cross tabulations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 721
19.6.1 Normalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 723
19.6.2 Adding Margins . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 723
19.7 Tiling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 724
19.8 Computing indicator / dummy variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 724
19.9 Factorizing values . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 727
20 Time Series / Date functionality 729
20.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 730
20.2 Time Stamps vs. Time Spans . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 730
20.3 Converting to Timestamps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 731
20.3.1 Invalid Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 733
20.3.2 Epoch Timestamps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 733
20.4 Generating Ranges of Timestamps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 734
20.5 Timestamp limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 736
20.6 DatetimeIndex . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 736
20.6.1 DatetimeIndex Partial String Indexing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 737
20.6.2 Datetime Indexing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 742
20.6.3 Truncating & Fancy Indexing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 743
20.6.4 Time/Date Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 743
20.7 DateOffset objects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 744
20.7.1 Parametric offsets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 746
20.7.2 Using offsets with Series / DatetimeIndex . . . . . . . . . . . . . . . . . . . . . . . 747
20.7.3 Custom Business Days (Experimental) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 748
20.7.4 Business Hour . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 750
20.7.5 Custom Business Hour . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 752
20.7.6 Offset Aliases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 752
20.7.7 Combining Aliases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 753
20.7.8 Anchored Offsets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 754
20.7.9 Anchored Offset Semantics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 755
20.7.10 Holidays / Holiday Calendars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 756
20.8 Time series-related instance methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 758
20.8.1 Shifting / lagging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 758
20.8.2 Frequency conversion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 759
20.8.3 Filling forward / backward . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 759
20.8.4 Converting to Python datetimes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 760
20.9 Resampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 760
20.9.1 Up Sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 761
20.9.2 Sparse Resampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 762
20.9.3 Aggregation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 763
xiv
![](https://csdnimg.cn/release/download_crawler_static/10398645/bg11.jpg)
20.10 Time Span Representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 766
20.10.1 Period . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 766
20.10.2 PeriodIndex and period_range . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 768
20.10.3 Period Dtypes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 769
20.10.4 PeriodIndex Partial String Indexing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 770
20.10.5 Frequency Conversion and Resampling with PeriodIndex . . . . . . . . . . . . . . . . . . . 772
20.11 Converting between Representations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 773
20.12 Representing out-of-bounds spans . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 774
20.13 Time Zone Handling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 775
20.13.1 Working with Time Zones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 775
20.13.2 Ambiguous Times when Localizing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 779
20.13.3 TZ aware Dtypes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 781
21 Time Deltas 785
21.1 Parsing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 785
21.1.1 to_timedelta . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 786
21.1.2 Timedelta limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 787
21.2 Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 787
21.3 Reductions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 791
21.4 Frequency Conversion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 791
21.5 Attributes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 793
21.6 TimedeltaIndex . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 794
21.6.1 Using the TimedeltaIndex . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 795
21.6.2 Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 796
21.6.3 Conversions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 796
21.7 Resampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 797
22 Categorical Data 799
22.1 Object Creation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 799
22.2 Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 802
22.3 Working with categories . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 803
22.3.1 Renaming categories . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 804
22.3.2 Appending new categories . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 805
22.3.3 Removing categories . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 805
22.3.4 Removing unused categories . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 805
22.3.5 Setting categories . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 806
22.4 Sorting and Order . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 806
22.4.1 Reordering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 808
22.4.2 Multi Column Sorting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 809
22.5 Comparisons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 809
22.6 Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 811
22.7 Data munging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 812
22.7.1 Getting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 813
22.7.2 String and datetime accessors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 814
22.7.3 Setting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 815
22.7.4 Merging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 817
22.7.5 Unioning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 817
22.7.6 Concatenation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 819
22.8 Getting Data In/Out . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 820
22.9 Missing Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 821
22.10 Differences to R’s factor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 822
22.11 Gotchas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 823
22.11.1 Memory Usage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 823
22.11.2 Old style constructor usage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 823
xv
![](https://csdnimg.cn/release/download_crawler_static/10398645/bg12.jpg)
22.11.3 Categorical is not a numpy array . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 824
22.11.4 dtype in apply . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 825
22.11.5 Categorical Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 825
22.11.6 Side Effects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 826
23 Visualization 829
23.1 Basic Plotting: plot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 829
23.2 Other Plots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 832
23.2.1 Bar plots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 834
23.2.2 Histograms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 837
23.2.3 Box Plots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 843
23.2.4 Area Plot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 851
23.2.5 Scatter Plot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 853
23.2.6 Hexagonal Bin Plot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 857
23.2.7 Pie plot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 859
23.3 Plotting with Missing Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 863
23.4 Plotting Tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 864
23.4.1 Scatter Matrix Plot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 864
23.4.2 Density Plot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 865
23.4.3 Andrews Curves . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 866
23.4.4 Parallel Coordinates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 867
23.4.5 Lag Plot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 868
23.4.6 Autocorrelation Plot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 869
23.4.7 Bootstrap Plot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 870
23.4.8 RadViz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 871
23.5 Plot Formatting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 872
23.5.1 Controlling the Legend . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 873
23.5.2 Scales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 874
23.5.3 Plotting on a Secondary Y-axis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 875
23.5.4 Suppressing Tick Resolution Adjustment . . . . . . . . . . . . . . . . . . . . . . . . . . . 878
23.5.5 Subplots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 881
23.5.6 Using Layout and Targeting Multiple Axes . . . . . . . . . . . . . . . . . . . . . . . . . . 882
23.5.7 Plotting With Error Bars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 885
23.5.8 Plotting Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 887
23.5.9 Colormaps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 890
23.6 Plotting directly with matplotlib . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 895
23.7 Trellis plotting interface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 896
24 Style 897
25 IO Tools (Text, CSV, HDF5, ...) 899
25.1 CSV & Text files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 900
25.1.1 Parsing options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 900
Basic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 900
Column and Index Locations and Names . . . . . . . . . . . . . . . . . . . . . . . . . . . . 900
General Parsing Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 901
NA and Missing Data Handling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 902
Datetime Handling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 902
Iteration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 902
Quoting, Compression, and File Format . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 903
Error Handling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 903
25.1.2 Specifying column data types . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 905
25.1.3 Specifying Categorical dtype . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 907
25.1.4 Naming and Using Columns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 908
xvi
![](https://csdnimg.cn/release/download_crawler_static/10398645/bg13.jpg)
Handling column names . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 908
25.1.5 Duplicate names parsing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 909
Filtering columns (usecols) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 910
25.1.6 Comments and Empty Lines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 910
Ignoring line comments and empty lines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 911
Comments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 912
25.1.7 Dealing with Unicode Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 913
25.1.8 Index columns and trailing delimiters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 913
25.1.9 Date Handling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 914
Specifying Date Columns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 914
Date Parsing Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 916
Inferring Datetime Format . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 917
International Date Formats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 918
25.1.10 Specifying method for floating-point conversion . . . . . . . . . . . . . . . . . . . . . . . . 918
25.1.11 Thousand Separators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 918
25.1.12 NA Values . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 919
25.1.13 Infinity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 920
25.1.14 Returning Series . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 920
25.1.15 Boolean values . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 920
25.1.16 Handling “bad” lines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 921
25.1.17 Quoting and Escape Characters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 921
25.1.18 Files with Fixed Width Columns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 921
25.1.19 Indexes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 923
Files with an “implicit” index column . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 923
Reading an index with a MultiIndex . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 923
Reading columns with a MultiIndex . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 924
25.1.20 Automatically “sniffing” the delimiter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 925
25.1.21 Iterating through files chunk by chunk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 926
25.1.22 Specifying the parser engine . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 927
25.1.23 Writing out Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 927
Writing to CSV format . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 927
Writing a formatted string . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 928
25.2 JSON . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 929
25.2.1 Writing JSON . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 929
Orient Options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 930
Date Handling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 931
Fallback Behavior . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 932
25.2.2 Reading JSON . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 933
Data Conversion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 934
The Numpy Parameter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 936
25.2.3 Normalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 937
25.2.4 Line delimited json . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 938
25.3 HTML . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 938
25.3.1 Reading HTML Content . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 938
25.3.2 Writing to HTML files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 943
25.4 Excel files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 946
25.4.1 Reading Excel Files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 946
ExcelFile class . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 947
Specifying Sheets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 947
Reading a MultiIndex . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 948
Parsing Specific Columns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 950
Cell Converters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 950
25.4.2 Writing Excel Files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 950
Writing Excel Files to Disk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 950
xvii
![](https://csdnimg.cn/release/download_crawler_static/10398645/bg14.jpg)
Writing Excel Files to Memory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 951
25.4.3 Excel writer engines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 951
25.5 Clipboard . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 952
25.6 Pickling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 953
25.7 msgpack (experimental) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 954
25.7.1 Read/Write API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 956
25.8 HDF5 (PyTables) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 957
25.8.1 Read/Write API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 959
25.8.2 Fixed Format . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 960
25.8.3 Table Format . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 961
25.8.4 Hierarchical Keys . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 962
25.8.5 Storing Types . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 963
Storing Mixed Types in a Table . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 963
Storing Multi-Index DataFrames . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 964
25.8.6 Querying . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 965
Querying a Table . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 965
Using timedelta64[ns] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 969
Indexing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 969
Query via Data Columns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 971
Iterator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 972
Advanced Queries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 973
Multiple Table Queries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 975
25.8.7 Delete from a Table . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 977
25.8.8 Notes & Caveats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 978
Compression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 978
ptrepack . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 978
Caveats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 979
25.8.9 DataTypes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 979
Categorical Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 979
String Columns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 981
25.8.10 External Compatibility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 982
25.8.11 Backwards Compatibility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 984
25.8.12 Performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 985
25.8.13 Experimental . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 985
25.9 SQL Queries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 987
25.9.1 pandas.read_sql_table . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 988
25.9.2 pandas.read_sql_query . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 989
25.9.3 pandas.read_sql . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 990
25.9.4 pandas.DataFrame.to_sql . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 991
25.9.5 Writing DataFrames . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 992
SQL data types . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 992
25.9.6 Reading Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 993
25.9.7 Schema support . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 993
25.9.8 Querying . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 994
25.9.9 Engine connection examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 995
25.9.10 Advanced SQLAlchemy queries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 995
25.9.11 Sqlite fallback . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 996
25.10 Google BigQuery (Experimental) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 996
25.10.1 pandas.io.gbq.read_gbq . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 997
25.10.2 pandas.io.gbq.to_gbq . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 998
25.10.3 Authentication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 999
25.10.4 Querying . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1000
25.10.5 Writing DataFrames . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1000
25.10.6 Creating BigQuery Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1002
xviii
剩余1948页未读,继续阅读
点击了解资源详情
151 浏览量
137 浏览量
点击了解资源详情
点击了解资源详情
132 浏览量
点击了解资源详情
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
123ge
- 粉丝: 0
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
最新资源
- 新版Universal Extractor:强大的解压提取工具
- 掌握CSS布局技术: pagina.io 主页解读
- MATLAB模拟退火优化工具包InspireaWrapper介绍
- JavaFX实现的简单酒店管理系统设计
- 全新升级版有天asp留言板v2.0功能介绍
- Go Cloud Development Kit:一站式云应用部署解决方案
- 现代操作系统原理与实践:Java和C++模拟模型
- HTML留言板完整代码包下载
- HugeChat服务器:Java通信与服务器端解决方案
- cmake-fullpython: Python集成与虚拟环境的CMake解决方案
- Smartly应用:测试知识的智能游戏平台
- MATLAB实现贝叶斯与软阈值图像去噪方法
- RNN在Matlab中的代码实现与例程指南
- VS2017编译的curl7.70静态链接库支持https
- 讯飞离线语音合成演示与Demo源码解析
- VisEvol: 可视化进化优化在超参数搜索中的应用
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)