趣学Python数据分析：轴和索引

上一篇总结了Python数据处理包Pandas的DataFrame，介绍了Axes相关的属性和方法。文章的图形展示效果不是很友好，再换一种形式。


同时继续总结，数据框的访问相关的属性和方法。


01

轴(Axes) 相关

构造一个数据框



    

  1. In [1]: import datetime as dt
    2. 


    3. 

  3. In [3]: import pandas as pd
    4. 


    5. 

  5. In [4]: df = pd.DataFrame([[1,'gz',dt.date(2019,4,13)],[3,'lg',dt.date(2019,4,14
    6. 

  6.    ...: )],[5,'jh',dt.date(2019,4,15)]])
    7. 


    8. 

  8. In [5]: df
    9. 

  9. Out[5]: 
    10. 

  10.  0 1 2
    11. 

  11. 0 1 gz 2019-04-13
    12. 

  12. 1 3 lg 2019-04-14
    13. 

  13. 2 5 jh 2019-04-15
    14. 



行、列索引




    

  1. In [6]: df.index  # 展示行索引
    2. 

  2. Out[6]: RangeIndex(start=0, stop=3, step=1)
    3. 


    4. 

  4. In [7]: df.columns  # 展示列索引
    5. 

  5. Out[7]: RangeIndex(start=0, stop=3, step=1)
    6. 


    7. 

  7. In [8]: df.columns=['id','nickname','register'] # 为列索引重新赋值
    8. 


    9. 

  9. In [9]: df
    10. 

  10. Out[9]: 
    11. 

  11.  id nickname register
    12. 

  12. 0 1 gz 2019-04-13
    13. 

  13. 1 3 lg 2019-04-14
    14. 

  14. 2 5 jh 2019-04-15
    15. 


    16. 

  16. In [10]: df.index=['p1','p2','p3'] # 为行索引重新赋值
    17. 


    18. 

  18. In [11]: df
    19. 

  19. Out[11]: 
    20. 

  20.  id nickname register
    21. 

  21. p1 1 gz 2019-04-13
    22. 

  22. p2 3 lg 2019-04-14
    23. 

  23. p3 5 jh 2019-04-15
    24. 



行、列索引的类型，统计及筛选




    

  1. In [12]: df.dtypes  # 展示每列的数据类型
    2. 

  2. Out[12]: 
    3. 

  3. id int64
    4. 

  4. nickname object
    5. 

  5. register object
    6. 

  6. dtype: object
    7. 


    8. 

  8. In [13]: df.ftypes   # 展示每列为稠密(dense)或者稀疏(sparse)
    9. 

  9. Out[13]: 
    10. 

  10. id           int64:dense
    11. 

  11. nickname    object:dense
    12. 

  12. register    object:dense
    13. 

  13. dtype: object
    14. 


    15. 

  15. In [14]: df.get_dtype_counts()  # 统计列类型
    16. 

  16. Out[14]: 
    17. 

  17. int64 1
    18. 

  18. object 2
    19. 

  19. dtype: int64
    20. 


    21. 

  21. In [15]: df.select_dtypes(include=['int']) # 根据列类型(如为int,或者object)筛选数据
    22. 

  22. Out[15]: 
    23. 

  23.  id
    24. 

  24. p1 1
    25. 

  25. p2 3
    26. 

  26. p3 5
    27. 



整个数据框相关，沿着两个轴的数据统计




    

  1. In [16]: df.values  # 返回NumPy数据对象
    2. 

  2. Out[16]: 
    3. 

  3. array([[1, 'gz', datetime.date(2019, 4, 13)],
    4. 

  4.  [3, 'lg', datetime.date(2019, 4, 14)],
    5. 

  5.  [5, 'jh', datetime.date(2019, 4, 15)]], dtype=object)
    6. 


    7. 

  7. In [17]: df.get_values()  # 稀疏值转稠密后，返回NumPy数据对象
    8. 

  8. Out[17]: 
    9. 

  9. array([[1, 'gz', datetime.date(2019, 4, 13)],
    10. 

  10.  [3, 'lg', datetime.date(2019, 4, 14)],
    11. 

  11.  [5, 'jh', datetime.date(2019, 4, 15)]], dtype=object)
    12. 


    13. 

  13. In [18]: df.axes
    14. 

  14. Out[18]: 
    15. 

  15. [Index(['p1', 'p2', 'p3'], dtype='object'),
    16. 

  16.  Index(['id', 'nickname', 'register'], dtype='object')]
    17. 


    18. 

  18. In [19]: df.size
    19. 

  19. Out[19]: 9
    20. 


    21. 

  21. In [20]: df.ndim
    22. 

  22. Out[20]: 2
    23. 


    24. 

  24. In [21]: df.shape
    25. 

  25. Out[21]: (3, 3)
    26. 



创建稠密列、稀疏列，查看类型，比较存储占用的空间




    

  1. In [22]: df.loc[:,'gender']=['Male',None,None] # 稠密列
    2. 


    3. 

  3. In [23]: df
    4. 

  4. Out[23]: 
    5. 

  5.  id nickname register gender
    6. 

  6. p1 1 gz 2019-04-13 Male
    7. 

  7. p2 3 lg 2019-04-14 None
    8. 

  8. p3 5 jh 2019-04-15 None
    9. 


    10. 

  10. In [24]: dfspa = df.copy()                                                      
    11. 


    12. 

  12. In [25]: dfspa
    13. 

  13. Out[25]: 
    14. 

  14.  id nickname register gender
    15. 

  15. p1 1 gz 2019-04-13 Male
    16. 

  16. p2 3 lg 2019-04-14 None
    17. 

  17. p3 5 jh 2019-04-15 None
    18. 


    19. 

  19. In [27]: dfspa.loc[:,'gender']=pd.SparseArray(['Male',None,None]) # 稀疏列
    20. 


    21. 

  21. In [28]: dfspa
    22. 

  22. Out[28]: 
    23. 

  23.  id nickname register gender
    24. 

  24. p1 1 gz 2019-04-13 Male
    25. 

  25. p2 3 lg 2019-04-14 NaN
    26. 

  26. p3 5 jh 2019-04-15 NaN
    27. 


    28. 

  28. In [30]: dfspa.dtypes        # 查看稀疏列的类型
    29. 

  29. Out[30]: 
    30. 

  30. id int64
    31. 

  31. nickname object
    32. 

  32. register object
    33. 

  33. gender Sparse[object, nan]
    34. 

  34. dtype: object
    35. 


    36. 

  36. In [31]: df.dtypes
    37. 

  37. Out[31]: 
    38. 

  38. id int64
    39. 

  39. nickname object
    40. 

  40. register object
    41. 

  41. gender object
    42. 

  42. dtype: object
    43. 


    44. 

  44. In [32]: df.memory_usage()                                                      
    45. 

  45. Out[32]: 
    46. 

  46. Index 24
    47. 

  47. id 24
    48. 

  48. nickname 24
    49. 

  49. register 24
    50. 

  50. gender 24
    51. 

  51. dtype: int64
    52. 


    53. 

  53. In [33]: dfspa.memory_usage()  # 稀疏列更加节省内存空间
    54. 

  54. Out[33]: 
    55. 

  55. Index 104
    56. 

  56. id 24
    57. 

  57. nickname 24
    58. 

  58. register 24
    59. 

  59. gender 12
    60. 

  60. dtype: int64
    61. 



判断数据框是否为空




    

  1. In [35]: df.empty
    2. 

  2. Out[35]: False
    3. 


    4. 

  4. In [41]: dfemp = pd.DataFrame([])
    5. 

  5. In [42]: dfemp
    6. 

  6. Out[42]: 
    7. 

  7. Empty DataFrame
    8. 

  8. Columns: []
    9. 

  9. Index: []
    10. 


    11. 

  11. In [43]: dfemp.empty
    12. 

  12. Out[43]: True
    13. 


    14. 

  14. In [44]: dfemp = pd.DataFrame([[]],index=['a','b'])
    15. 

  15. In [45]: dfemp
    16. 

  16. Out[45]: 
    17. 

  17. Empty DataFrame
    18. 

  18. Columns: []
    19. 

  19. Index: [a, b]
    20. 






02


索引(Indexing) 相关


get访问







    

  1. In [47]: df                                                                     
    2. 

  2. Out[47]: 
    3. 

  3.  id nickname register gender
    4. 

  4. p1 1 gz 2019-04-13 Male
    5. 

  5. p2 3 lg 2019-04-14 None
    6. 

  6. p3 5 jh 2019-04-15 None
    7. 


    8. 

  8. In [48]: df.get('id')
    9. 

  9. Out[48]: 
    10. 

  10. p1 1
    11. 

  11. p2 3
    12. 

  12. p3 5
    13. 

  13. Name: id, dtype: int64
    14. 


    15. 

  15. In [53]: df.get('id').get('p2')
    16. 

  16. Out[53]: 3
    17. 

  17. In [54]: type(df.get('id').get('p2'))
    18. 

  18. Out[54]: numpy.int64
    19. 


    20. 

  20. In [56]: df.get('id').get('p22') # 如果key不存在，返回默认值None
    21. 

  21. In [62]: df.get('id').get('p22')==None # 验证
    22. 

  22. Out[62]: True
    23. 



item 返回原生Python对象




    

  1. In [52]: df.get('id').get('p2').item() # item返回Python原生对象
    2. 

  2. Out[52]: 3
    3. 

  3. In [55]: type(df.get('id').get('p2').item()) # 验证
    4. 

  4. Out[55]: int
    5. 



at , iat 访问单个值




    

  1. In [63]: df                                                                     
    2. 

  2. Out[63]: 
    3. 

  3.  id nickname register gender
    4. 

  4. p1 1 gz 2019-04-13 Male
    5. 

  5. p2 3 lg 2019-04-14 None
    6. 

  6. p3 5 jh 2019-04-15 None
    7. 


    8. 

  8. In [64]: df.at['p3','register'] # at 通过行、列标签访问
    9. 

  9. Out[64]: datetime.date(2019, 4, 15)
    10. 


    11. 

  11. In [65]: df['nickname'].at['p2']
    12. 

  12. Out[65]: 'lg'
    13. 


    14. 

  14. # 如果访问的key不存在，抛出KeyError错误
    15. 


    16. 

  16. In [68]: df.iat[1,3] # 通过整数索引访问，像matlab那样访问数据 
    17. 


    18. 

  18. In [69]: df.iat[0,1]
    19. 

  19. Out[69]: 'gz'
    20. 


    21. 

  21. In [70]: df.iat[2,2]
    22. 

  22. Out[70]: datetime.date(2019, 4, 15)
    23. 



loc, iloc 访问整行、整列




    

  1. In [71]: df                                                                     
    2. 

  2. Out[71]: 
    3. 

  3.  id nickname register gender
    4. 

  4. p1 1 gz 2019-04-13 Male
    5. 

  5. p2 3 lg 2019-04-14 None
    6. 

  6. p3 5 jh 2019-04-15 None
    7. 


    8. 

  8. In [72]: df.loc['p3','nickname'] # 此种访问建议走at访问模式
    9. 

  9. Out[72]: 'jh'
    10. 


    11. 

  11. In [73]: df.loc['p2'] # 行标签访问整行
    12. 

  12. Out[73]: 
    13. 

  13. id 3
    14. 

  14. nickname lg
    15. 

  15. register 2019-04-14
    16. 

  16. gender None
    17. 

  17. Name: p2, dtype: object
    18. 


    19. 

  19. In [74]: df.loc['nickname'] # 报错！
    20. 


    21. 

  21. In [75]: df.loc[:,'nickname']
    22. 

  22. Out[75]: 
    23. 

  23. p1 gz
    24. 

  24. p2 lg
    25. 

  25. p3 jh
    26. 

  26. Name: nickname, dtype: object
    27. 


    28. 

  28. In [76]: df.iloc[2] # 访问行整数索引为2的行
    29. 

  29. Out[76]: 
    30. 

  30. id 5
    31. 

  31. nickname jh
    32. 

  32. register 2019-04-15
    33. 

  33. gender None
    34. 

  34. Name: p3, dtype: object
    35. 


    36. 

  36. In [77]: df.iloc[:,3] # 访问列整数索引为3的列
    37. 

  37. Out[77]: 
    38. 

  38. p1 Male
    39. 

  39. p2 None
    40. 

  40. p3 None
    41. 

  41. Name: gender, dtype: object
    42. 






03


好书每周送





它是Python数据分析领域最畅销的一本书，定价119元。这么一本含金量高的书，能免费包邮到家吗？ 能！并且，大家如果参与度高，我们每周都至少送1本。





感谢机械工业出版社的大力支持！





趣学Python数据分析：轴和索引





趣学Python数据分析：轴和索引


购买链接





在看或分享，留言：day几打卡+今日生活有何感悟。每周会从参与度最高的小伙伴中选出。









推荐阅读：


4 个Python数据读取的常见错误


头条、阿里、快手、百度面试实录




趣学Python数据分析：轴和索引
Python数据与机器学习


致力于做最有态度、走心的原创公众号


长按二维码订阅





趣学Python数据分析：轴和索引给个好看


 
                    
            
                

                  
 
        

	 
        

            

                                            

        

        
相关文章：

        

      
            
 
                    
    
                                            

               
   
         

    


  






 
          

    
猜你喜欢 

        
    
                        

   
 



    
相关资源 

        
    
              
                            

   

   
    

     
相似解决方案 

         
    
                          

    

  
   

    

 
   

    
热门标签  

    

                    Java
                        Python
                        linux
                        javascript
                        Mysql
                        C#
                        Docker
                        算法
                        前端
                        SpringBoot
                        Redis
                        Vue
                        spring
                        设计模式
                        .net core
                        .net
                        kubernetes
                        c++
                        数据库
                        数据结构
                        大数据
                        js
                        机器学习
                        微服务
                        Android
                        Go
                        程序员
                        面试
                        JVM
                        ASP.net core
                        云原生
                        人工智能
                        后端
                        PHP
                        git
                        CSS
                        golang
                        k8s
                        Nginx
                        Django
                        mybatis
                        深度学习
                        多线程
                        React
                        架构
                        devops
                        爬虫
                        云计算
                        Spring Boot
                        LeetCode