没有合适的资源?快使用搜索试试~ 我知道了~
首页Pandas 0.22:Python数据分析利器
"Pandas V0.22 是一个强大的Python数据分析工具包,由Wes McKinney和PyData开发团队发布。这个版本包含多个更新、新功能、性能改进以及向后不兼容的API变化。主要亮点包括改进的算术操作、按分类进行分组、重采样、滚动和扩展操作。此外,还修复了多个bug,优化了Parquet文件的输入输出功能,并引入了对Apache Parquet文件格式的集成。"
在Pandas V0.22中,有以下几个重要的知识点:
1. **向后不兼容的API变化**:
- **Arithmetic Operations**:在Pandas V0.22中,算术操作可能有所改变,可能影响到用户现有的数据处理代码,需要检查并适配新的API。
- **Grouping by a Categorical**:现在支持按分类(Categorical)列进行分组,这使得处理分类数据更加方便,可以进行更精细的分析。
- **Resample**:重采样功能可能进行了优化,提供了更灵活的时间序列分析能力。
- **Rolling and Expanding**:滚动窗口和扩展计算的API也可能有变动,这有助于在时间序列数据上进行滑动平均或其他统计计算。
2. **兼容性**:
- 这个版本确保与先前版本的兼容性,例如在Matplotlib datetime转换器注册方面的修复,确保绘图功能的正常工作。
3. **新功能**:
- **ParquetIO Functionality**:Pandas V0.22增强了对Parquet文件格式的支持,这是一个高效的列式存储格式,常用于大数据分析。
- **Other Enhancements**:除了上述改进,还有其他增强功能,可能包括对数据处理速度的提升、内存管理的优化等。
4. **性能改进**:
- 提升了Pandas的整体性能,尤其是在数据读写、索引、运算等方面。
5. **Bug Fixes**:
- **Conversion**:修复了数据类型转换方面的问题,确保数据处理的准确性。
- **Indexing**:解决了索引相关的错误,提高了访问和操作数据的稳定性。
- **I/O**:改进了输入输出操作,减少了读取和写入数据时可能出现的错误。
- **Plotting**:修复了绘图功能中的问题,使图表显示更加准确。
- **Groupby/Resample/Rolling**:优化了基于分组、重采样或滚动操作的功能。
- **Reshaping**:改进了数据重塑过程中的问题,使得数据转换更加平滑。
- **Numeric**:修复了数值计算的错误,保证了数学运算的正确性。
- **Categorical**:改进了对分类数据的处理,提升了处理效率。
- **String**:字符串操作的bug得到了修复,使得文本数据处理更加可靠。
Pandas V0.22的更新不仅增强了其在数据分析领域的功能,也提高了其稳定性和性能。对于使用Python进行数据分析的开发者来说,理解这些变化和新增功能至关重要,以充分利用这个强大的库进行更高效的数据探索和挖掘。
10.3.1 Extract first match in each subject (extract) . . . . . . . . . . . . . . . . . . . . . . . . . . 595
10.3.2 Extract all matches in each subject (extractall) . . . . . . . . . . . . . . . . . . . . . . . . . 596
10.4 Testing for Strings that Match or Contain a Pattern . . . . . . . . . . . . . . . . . . . . . . . . . . . 598
10.5 Creating Indicator Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 599
10.6 Method Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 600
11 Options and Settings 603
11.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 603
11.2 Getting and Setting Options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 604
11.3 Setting Startup Options in python/ipython Environment . . . . . . . . . . . . . . . . . . . . . . . . 605
11.4 Frequently Used Options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 605
11.5 Available Options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 611
11.6 Number Formatting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 612
11.7 Unicode Formatting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 613
11.8 Table Schema Display . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 614
12 Indexing and Selecting Data 615
12.1 Different Choices for Indexing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 615
12.2 Basics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 616
12.3 Attribute Access . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 619
12.4 Slicing ranges . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 621
12.5 Selection By Label . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 622
12.5.1 Slicing with labels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 625
12.6 Selection By Position . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 626
12.7 Selection By Callable . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 630
12.8 IX Indexer is Deprecated . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 632
12.9 Indexing with list with missing labels is Deprecated . . . . . . . . . . . . . . . . . . . . . . . . . . 633
12.9.1 Reindexing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 634
12.10 Selecting Random Samples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 634
12.11 Setting With Enlargement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 637
12.12 Fast scalar value getting and setting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 638
12.13 Boolean indexing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 638
12.14 Indexing with isin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 640
12.15 The where() Method and Masking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 642
12.16 The query() Method (Experimental) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 646
12.16.1 MultiIndex query() Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 648
12.16.2 query() Use Cases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 650
12.16.3 query() Python versus pandas Syntax Comparison . . . . . . . . . . . . . . . . . . . . . 650
12.16.4 The in and not in operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 651
12.16.5 Special use of the == operator with list objects . . . . . . . . . . . . . . . . . . . . . . . 653
12.16.6 Boolean Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 655
12.16.7 Performance of query() . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 656
12.17 Duplicate Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 657
12.18 Dictionary-like get() method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 660
12.19 The lookup() Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 660
12.20 Index objects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 660
12.20.1 Setting metadata . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 661
12.20.2 Set operations on Index objects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 662
12.20.3 Missing values . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 663
12.21 Set / Reset Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 663
12.21.1 Set an index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 664
12.21.2 Reset the index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 665
12.21.3 Adding an ad hoc index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 666
12.22 Returning a view versus a copy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 666
xiv
12.22.1 Why does assignment fail when using chained indexing? . . . . . . . . . . . . . . . . . . . 667
12.22.2 Evaluation order matters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 668
13 MultiIndex / Advanced Indexing 671
13.1 Hierarchical indexing (MultiIndex) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 671
13.1.1 Creating a MultiIndex (hierarchical index) object . . . . . . . . . . . . . . . . . . . . . . . 671
13.1.2 Reconstructing the level labels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 674
13.1.3 Basic indexing on axis with MultiIndex . . . . . . . . . . . . . . . . . . . . . . . . . . . . 675
13.1.4 Defined Levels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 675
13.1.5 Data alignment and using reindex . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 676
13.2 Advanced indexing with hierarchical index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 677
13.2.1 Using slicers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 678
13.2.2 Cross-section . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 683
13.2.3 Advanced reindexing and alignment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 684
13.2.4 Swapping levels with swaplevel() . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 685
13.2.5 Reordering levels with reorder_levels() . . . . . . . . . . . . . . . . . . . . . . . . 686
13.3 Sorting a MultiIndex . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 686
13.4 Take Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 689
13.5 Index Types . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 691
13.5.1 CategoricalIndex . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 691
13.5.2 Int64Index and RangeIndex . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 693
13.5.3 Float64Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 693
13.5.4 IntervalIndex . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 696
13.6 Miscellaneous indexing FAQ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 698
13.6.1 Integer indexing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 698
13.6.2 Non-monotonic indexes require exact matches . . . . . . . . . . . . . . . . . . . . . . . . . 698
13.6.3 Endpoints are inclusive . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 699
13.6.4 Indexing potentially changes underlying Series dtype . . . . . . . . . . . . . . . . . . . . . 700
14 Computational tools 703
14.1 Statistical Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 703
14.1.1 Percent Change . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 703
14.1.2 Covariance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 703
14.1.3 Correlation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 705
14.1.4 Data ranking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 706
14.2 Window Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 707
14.2.1 Method Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 711
14.2.2 Rolling Windows . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 712
14.2.3 Time-aware Rolling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 714
14.2.4 Rolling Window Endpoints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 716
14.2.5 Time-aware Rolling vs. Resampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 717
14.2.6 Centering Windows . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 717
14.2.7 Binary Window Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 718
14.2.8 Computing rolling pairwise covariances and correlations . . . . . . . . . . . . . . . . . . . 719
14.3 Aggregation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 720
14.3.1 Applying multiple functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 722
14.3.2 Applying different functions to DataFrame columns . . . . . . . . . . . . . . . . . . . . . . 723
14.4 Expanding Windows . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 724
14.4.1 Method Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 725
14.5 Exponentially Weighted Windows . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 727
15 Working with missing data 731
15.1 Missing data basics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 731
15.1.1 When / why does data become missing? . . . . . . . . . . . . . . . . . . . . . . . . . . . . 731
xv
15.1.2 Values considered “missing” . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 732
15.2 Datetimes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 733
15.3 Inserting missing data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 734
15.4 Calculations with missing data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 735
15.4.1 Sum/Prod of Empties/Nans . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 736
15.4.2 NA values in GroupBy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 737
15.5 Cleaning / filling missing data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 737
15.5.1 Filling missing values: fillna . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 737
15.5.2 Filling with a PandasObject . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 739
15.5.3 Dropping axis labels with missing data: dropna . . . . . . . . . . . . . . . . . . . . . . . . 740
15.5.4 Interpolation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 741
15.5.4.1 Interpolation Limits . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 746
15.5.5 Replacing Generic Values . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 747
15.5.6 String/Regular Expression Replacement . . . . . . . . . . . . . . . . . . . . . . . . . . . . 748
15.5.7 Numeric Replacement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 750
15.6 Missing data casting rules and indexing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 752
16 Group By: split-apply-combine 755
16.1 Splitting an object into groups . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 756
16.1.1 GroupBy sorting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 757
16.1.2 GroupBy object attributes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 758
16.1.3 GroupBy with MultiIndex . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 759
16.1.4 Grouping DataFrame with Index Levels and Columns . . . . . . . . . . . . . . . . . . . . . 761
16.1.5 DataFrame column selection in GroupBy . . . . . . . . . . . . . . . . . . . . . . . . . . . 762
16.2 Iterating through groups . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 763
16.3 Selecting a group . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 764
16.4 Aggregation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 764
16.4.1 Applying multiple functions at once . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 766
16.4.2 Applying different functions to DataFrame columns . . . . . . . . . . . . . . . . . . . . . . 767
16.4.3 Cython-optimized aggregation functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 768
16.5 Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 768
16.5.1 New syntax to window and resample operations . . . . . . . . . . . . . . . . . . . . . . . . 773
16.6 Filtration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 775
16.7 Dispatching to instance methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 777
16.8 Flexible apply . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 778
16.9 Other useful features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 780
16.9.1 Automatic exclusion of “nuisance” columns . . . . . . . . . . . . . . . . . . . . . . . . . . 780
16.9.2 NA and NaT group handling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 781
16.9.3 Grouping with ordered factors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 781
16.9.4 Grouping with a Grouper specification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 781
16.9.5 Taking the first rows of each group . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 783
16.9.6 Taking the nth row of each group . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 783
16.9.7 Enumerate group items . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 785
16.9.8 Enumerate groups . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 786
16.9.9 Plotting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 787
16.9.10 Piping function calls . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 788
16.10 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 788
16.10.1 Regrouping by factor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 788
16.10.2 Multi-column factorization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 789
16.10.3 Groupby by Indexer to ‘resample’ data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 790
16.10.4 Returning a Series to propagate names . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 790
17 Merge, join, and concatenate 793
17.1 Concatenating objects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 793
xvi
17.1.1 Set logic on the other axes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 796
17.1.2 Concatenating using append . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 797
17.1.3 Ignoring indexes on the concatenation axis . . . . . . . . . . . . . . . . . . . . . . . . . . . 799
17.1.4 Concatenating with mixed ndims . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 800
17.1.5 More concatenating with group keys . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 801
17.1.6 Appending rows to a DataFrame . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 804
17.2 Database-style DataFrame joining/merging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 805
17.2.1 Brief primer on merge methods (relational algebra) . . . . . . . . . . . . . . . . . . . . . . 807
17.2.2 Checking for duplicate keys . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 810
17.2.3 The merge indicator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 810
17.2.4 Merge Dtypes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 811
17.2.5 Joining on index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 814
17.2.6 Joining key columns on an index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 815
17.2.7 Joining a single Index to a Multi-index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 817
17.2.8 Joining with two multi-indexes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 818
17.2.9 Overlapping value columns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 819
17.2.10 Joining multiple DataFrame or Panel objects . . . . . . . . . . . . . . . . . . . . . . . . . . 820
17.2.11 Merging together values within Series or DataFrame columns . . . . . . . . . . . . . . . . . 820
17.3 Timeseries friendly merging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 821
17.3.1 Merging Ordered Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 821
17.3.2 Merging AsOf . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 822
18 Reshaping and Pivot Tables 825
18.1 Reshaping by pivoting DataFrame objects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 825
18.2 Reshaping by stacking and unstacking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 826
18.2.1 Multiple Levels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 828
18.2.2 Missing Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 829
18.2.3 With a MultiIndex . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 831
18.3 Reshaping by Melt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 832
18.4 Combining with stats and GroupBy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 833
18.5 Pivot tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 835
18.5.1 Adding margins . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 837
18.6 Cross tabulations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 838
18.6.1 Normalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 839
18.6.2 Adding Margins . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 840
18.7 Tiling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 840
18.8 Computing indicator / dummy variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 841
18.9 Factorizing values . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 844
19 Time Series / Date functionality 845
19.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 846
19.2 Timestamps vs. Time Spans . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 846
19.3 Converting to Timestamps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 848
19.3.1 Providing a Format Argument . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 848
19.3.2 Assembling Datetime from Multiple DataFrame Columns . . . . . . . . . . . . . . . . . . . 849
19.3.3 Invalid Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 849
19.3.4 Epoch Timestamps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 850
19.3.5 From Timestamps to Epoch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 850
19.3.6 Using the origin Parameter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 851
19.4 Generating Ranges of Timestamps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 851
19.4.1 Custom Frequency Ranges . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 853
19.5 Timestamp Limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 854
19.6 Indexing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 854
19.6.1 Partial String Indexing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 855
xvii
19.6.2 Slice vs. Exact Match . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 860
19.6.3 Exact Indexing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 861
19.6.4 Truncating & Fancy Indexing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 862
19.7 Time/Date Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 863
19.8 DateOffset Objects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 864
19.8.1 Parametric Offsets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 866
19.8.2 Using Offsets with Series / DatetimeIndex . . . . . . . . . . . . . . . . . . . . . . . 866
19.8.3 Custom Business Days . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 868
19.8.4 Business Hour . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 869
19.8.5 Custom Business Hour . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 871
19.8.6 Offset Aliases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 872
19.8.7 Combining Aliases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 872
19.8.8 Anchored Offsets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 873
19.8.9 Anchored Offset Semantics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 874
19.8.10 Holidays / Holiday Calendars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 875
19.9 Time Series-Related Instance Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 878
19.9.1 Shifting / Lagging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 878
19.9.2 Frequency Conversion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 879
19.9.3 Filling Forward / Backward . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 879
19.9.4 Converting to Python Datetimes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 879
19.10 Resampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 880
19.10.1 Basics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 880
19.10.2 Upsampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 882
19.10.3 Sparse Resampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 883
19.10.4 Aggregation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 884
19.11 Time Span Representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 887
19.11.1 Period . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 887
19.11.2 PeriodIndex and period_range . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 888
19.11.3 Period Dtypes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 890
19.11.4 PeriodIndex Partial String Indexing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 890
19.11.5 Frequency Conversion and Resampling with PeriodIndex . . . . . . . . . . . . . . . . . . . 892
19.12 Converting Between Representations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 894
19.13 Representing Out-of-Bounds Spans . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 895
19.14 Time Zone Handling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 896
19.14.1 Working with Time Zones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 896
19.14.2 Ambiguous Times when Localizing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 900
19.14.3 TZ Aware Dtypes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 902
20 Time Deltas 905
20.1 Parsing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 905
20.1.1 to_timedelta . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 906
20.1.2 Timedelta limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 907
20.2 Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 907
20.3 Reductions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 911
20.4 Frequency Conversion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 911
20.5 Attributes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 913
20.6 TimedeltaIndex . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 914
20.6.1 Using the TimedeltaIndex . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 915
20.6.2 Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 916
20.6.3 Conversions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 917
20.7 Resampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 918
21 Categorical Data 919
21.1 Object Creation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 919
xviii
剩余2214页未读,继续阅读
2022-02-04 上传
2018-02-07 上传
2024-03-12 上传
2024-03-12 上传
2024-03-14 上传
2024-03-08 上传
2024-03-17 上传
xxgw
- 粉丝: 0
- 资源: 3
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- iirc:IRC服务器,如果我没记错的话
- Environment-Friend:一个旨在向大众传播废物管理意识的网站。 与与用户交互的聊天机器人集成
- bitbucket-companion-crx插件
- 笨蛋
- matlab二值化处理的代码-LAUCalTagWidget:BradAtcheson的CalTag摄像机校准方案的实时实施。这项工作得到了G
- 毕业设计&课设-基于MATLAB的FIR滤波器设计.zip
- 带C和Shell的操作系统:具有Shell和C编程的操作系统
- anti-csrf:功能齐全的反CSRF库
- pex:用于生成 .pex(Python EXecutable)文件的库和工具
- 盖斯玛斯
- Frogger_VG_Programming:一个Frogger克隆游戏机,用于练习为GAME 3150 05 SP2021进行编码@ Webster U
- ignite-challenge01
- 赫德梅塔卡普
- Check Adblocker-crx插件
- -COMP1521-计算机系统-基础知识:有关低级别系统内容的第一年课程
- 毕业设计&课设-该团队的直接模拟蒙特卡罗工作和模拟环境的脚本和数据。.zip
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功