hive metastore 元数据字段信息

本贴最后更新于 189 天前,其中的信息可能已经天翻地覆
  1. DBS -- 存储 Hive 中所有数据库的基本信息

    元数据表字段 说明 示例数据
    DB_ID 数据库 ID 2
    DESC 数据库描述 测试库
    DB_LOCATION_URI 数据库 HDFS 路径
    NAME 数据库名 1234
    OWNER_NAME 数据库所有者用户名 1234
    OWNER_TYPE 所有者角色 USER
  2. DATABASE_PARAMS  --该表存储数据库的相关参数,在 CREATE DATABASE 时候用

    元数据表字段 说明 示例数据
    DB_ID 数据库 ID 2
    PARAM_KEY 参数名 createdby
    PARAM_VALUE 参数值 1234
  3. TBLS --该表中存储 Hive 表、视图、索引表的基本信息。

    元数据表字段 说明 示例数据
    TBL_ID 表 ID 1
    CREATE_TIME 创建时间 1436317071
    DB_ID 数据库 ID 2,对应 DBS 中的 DB_ID
    LAST_ACCESS_TIME 上次访问时间 1436317071
    OWNER 所有者 2222
    RETENTION 保留字段 0
    SD_ID 序列化配置信息 86,对应 SDS 表中的 SD_ID
    TBL_NAME 表名 1234
    TBL_TYPE 表类型 MANAGED_TABLE、EXTERNAL_TABLE、INDEX_TABLE、VIRTUAL_VIEW
    VIEW_EXPANDED_TEXT 视图的详细 HQL 语句 select 111.pt, 222.pcid from test.tab1
    VIEW_ORIGINAL_TEXT 视图的原始 HQL 语句 select * from ta b
  4. TABLE_PARAMS --该表存储表/视图的属性信息

    元数据表字段 说明 示例数据
    TBL_ID 表 ID 1
    PARAM_KEY 属性名 totalSize、numRows、EXTERNAL
    PARAM_VALUE 属性值 970107336、21231028、TRUE
  5. SDS --该表保存文件存储的基本信息,如 INPUT_FORMAT、OUTPUT_FORMAT、是否压缩等

    元数据表字段 说明 示例数据
    SD_ID 存储信息 ID 1
    CD_ID 字段信息 ID 21,对应 CDS 表
    INPUT_FORMAT 文件输入格式 org.apache.hadoop.mapred.TextInputFormat
    IS_COMPRESSED 是否压缩 0
    IS_STOREDASSUBDIRECTORIES 是否以子目录存储 0
    LOCATION HDFS 路径
    NUM_BUCKETS 分桶数量 5
    OUTPUT_FORMAT 文件输出格式 org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
    SERDE_ID 序列化类 ID 3,对应 SERDES 表
  6. SD_PARAMS --该表存储 Hive 存储的属性信息,在创建表时候使用

    元数据表字段 说明 示例数据
    SD_ID 存储配置 ID 1
    PARAM_KEY 存储属性名
    PARAM_VALUE 存储属性值
  7. SERDES --该表存储序列化使用的类信息

    元数据表字段 说明 示例数据
    SERDE_ID 序列化类配置 ID 1
    NAME 序列化类别名
    SLIB 序列化类 org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
  8. SERDE_PARAMS --该表存储序列化的一些属性、格式信息,比如:行、列分隔符

    元数据表字段 说明 示例数据
    SERDE_ID 序列化类配置 ID 1
    PARAM_KEY 属性名 field.delim
    PARAM_VALUE 属性值 ,
  9. COLUMNS_V2 --该表存储表对应的字段信息

    元数据表字段 说明 示例数据
    CD_ID 字段信息 ID 1
    COMMENT 字段注释
    COLUMN_NAME 字段名 pt
    TYPE_NAME 字段类型 string
    INTEGER_IDX 字段顺序 2
  10. PARTITIONS -- 该表存储表分区的基本信息

    元数据表字段 说明 示例数据
    PART_ID 分区 ID 1
    CREATE_TIME 分区创建时间
    LAST_ACCESS_TIME 最后一次访问时间
    PART_NAME 分区名 pt=2015-06-12
    SD_ID 分区存储 ID 21
    TBL_ID 表 ID 2
  11. PARTITION_KEYS --该表存储分区字段值

    元数据表字段 说明 示例数据
    TBL_ID 表 ID 2
    PKEY_COMMENT 分区字段说明
    PKEY_NAME 分区字段名 pt
    PKEY_TYPE 分区字段类型 string
    INTEGER_IDX 分区字段顺序 1
  12. PARTITION_PARAMS --该表存储分区的属性信息

    元数据表字段 说明 示例数据
    PART_ID 分区 ID 2
    PARAM_KEY 分区属性名 numFiles、numRows
    PARAM_VALUE 分区属性值 15、502195
  13. PARTITION_KEY_VALS --该表存储分区字段值

    元数据表字段 说明 示例数据
    PART_ID 分区 ID 2
    PART_KEY_VAL 分区字段值 2015-06-12
    INTEGER_IDX 分区字段值顺序 0
  • Hive
    15 引用 • 7 回帖 • 1 关注
回帖
请输入回帖内容...