protobuf初探

collectcrop Lv3
  2024-11-21 23:47:01 2024-11-21 23:47:01 创建   2024-11-23 23:26:34 2024-11-23 23:26:34 更新      1.5k 字  6 分钟  

protobuf简介

Protocol Buffers（通常简称为protobuf）是由Google开发的一种语言中立、平台中立的序列化结构数据的方法。它用于高效地存储和交换数据，特别适合用于网络通信和数据存储。protobuf的主要特点包括：

  1. 高效性：protobuf使用紧凑的二进制格式，比其他文本格式（如JSON或XML）更小、更快。
  2. 语言中立：支持多种编程语言，包括C++、Java、Python、Go等，使得跨平台的数据交换变得简单。
  3. 易于扩展：可以在不破坏现有数据结构的情况下，轻松地添加新字段。
  4. 定义文件：使用.proto文件来定义数据结构和服务，可以通过工具自动生成相应的代码。

通过protobuf，开发者可以定义消息类型，使用这些类型进行数据序列化和反序列化，从而在不同的系统或服务之间传输数据。

Proto2: 支持 required 和 optional 修饰符。

Proto3: 默认所有字段为 optional，不支持 required

工具集安装

  • pbtk:（自动化分析）
1
2
3
sudo apt install python3-pip git openjdk-11-jre libqt5x11extras5 python3-pyqt5.qtwebengine python3-pyqt5
sudo pip3 install protobuf pyqt5 pyqtwebengine requests websocket-client
git clone https://github.com/marin-m/pbtk
  • Protobuf 库:（本地搓proto文件并编译成python）
1
2
3
sudo apt-get update
sudo apt-get install -y protobuf-compiler libprotobuf-dev		
sudo apt-get install libprotobuf-c-dev protobuf-c-compiler

目标

protobuf这类题一般都会将输入转化成特殊的结构体，这就要求我们首先要逆向出proto结构体。

一些结构体定义

ProtobufCFieldDescriptor
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
struct ProtobufCFieldDescriptor {
    /** Name of the field as given in the .proto file. */
    const char      *name;				

    /** Tag value of the field as given in the .proto file. */
    uint32_t        id;					

    /** Whether the field is `REQUIRED`, `OPTIONAL`, or `REPEATED`. */
    ProtobufCLabel      label;					

    /** The type of the field. */
    ProtobufCType       type;					

    /**
     * The offset in bytes of the message's C structure's quantifier field
     * (the `has_MEMBER` field for optional members or the `n_MEMBER` field
     * for repeated members or the case enum for oneofs).
     */
    unsigned        quantifier_offset;							

    /**
     * The offset in bytes into the message's C structure for the member
     * itself.
     */
    unsigned        offset;					

    /**
     * A type-specific descriptor.
     *
     * If `type` is `PROTOBUF_C_TYPE_ENUM`, then `descriptor` points to the
     * corresponding `ProtobufCEnumDescriptor`.
     *
     * If `type` is `PROTOBUF_C_TYPE_MESSAGE`, then `descriptor` points to
     * the corresponding `ProtobufCMessageDescriptor`.
     *
     * Otherwise this field is NULL.
     */
    const void      *descriptor; /* for MESSAGE and ENUM types */

    /** The default value for this field, if defined. May be NULL. */
    const void      *default_value;

    /**
     * A flag word. Zero or more of the bits defined in the
     * `ProtobufCFieldFlag` enum may be set.
     */
    uint32_t        flags;

    /** Reserved for future use. */
    unsigned        reserved_flags;
    /** Reserved for future use. */
    void            *reserved2;
    /** Reserved for future use. */
    void            *reserved3;
};
label和type

label和type都是枚举类型：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
typedef enum {
    /** A well-formed message must have exactly one of this field. */
    PROTOBUF_C_LABEL_REQUIRED,

    /**
     * A well-formed message can have zero or one of this field (but not
     * more than one).
     */
    PROTOBUF_C_LABEL_OPTIONAL,

    /**
     * This field can be repeated any number of times (including zero) in a
     * well-formed message. The order of the repeated values will be
     * preserved.
     */
    PROTOBUF_C_LABEL_REPEATED,

    /**
     * This field has no label. This is valid only in proto3 and is
     * equivalent to OPTIONAL but no "has" quantifier will be consulted.
     */
    PROTOBUF_C_LABEL_NONE,
} ProtobufCLabel;


typedef enum {
    PROTOBUF_C_TYPE_INT32,      /**0< int32 */
    PROTOBUF_C_TYPE_SINT32,     /**1< signed int32 */
    PROTOBUF_C_TYPE_SFIXED32,   /**2< signed int32 (4 bytes) */
    PROTOBUF_C_TYPE_INT64,      /**3< int64 */
    PROTOBUF_C_TYPE_SINT64,     /**4< signed int64 */
    PROTOBUF_C_TYPE_SFIXED64,   /**5< signed int64 (8 bytes) */
    PROTOBUF_C_TYPE_UINT32,     /**6< unsigned int32 */
    PROTOBUF_C_TYPE_FIXED32,    /**7< unsigned int32 (4 bytes) */
    PROTOBUF_C_TYPE_UINT64,     /**8< unsigned int64 */
    PROTOBUF_C_TYPE_FIXED64,    /**9< unsigned int64 (8 bytes) */
    PROTOBUF_C_TYPE_FLOAT,      /**10< float */
    PROTOBUF_C_TYPE_DOUBLE,     /**11< double */
    PROTOBUF_C_TYPE_BOOL,       /**12< boolean */
    PROTOBUF_C_TYPE_ENUM,       /**13< enumerated type */
    PROTOBUF_C_TYPE_STRING,     /**14< UTF-8 or ASCII string */
    PROTOBUF_C_TYPE_BYTES,      /**15< arbitrary byte sequence */
    PROTOBUF_C_TYPE_MESSAGE,    /**16< nested message */
} ProtobufCType;

定位结构体方式

1.手动定位

因为我们输入的内容会通过protobuf_c_message_unpack这个函数进行解析。所以我们可以对比链接库中的函数具体定义以及我们pwn的主程序中调用的传参。然后就能跳转到主程序中的具体descriptor中进行下一步分析。

首先要在主程序里找一个message_descriptor，一般在.data.rel.ro段，其开头的魔数(magic)是0x28AAEEF9，一般而言下面会直接解析出Protobuf结构体的名字，但也有IDA识别不出来的情况，我们可以手动将db类型转为dq类型，然后就会清晰很多。

我们的消息结构体名字就为MyMessage。接着我们可以往my_message__field_descriptors里看，里面就是具体的字段，也就是ProtobufCFieldDescriptor这个结构体。但是也都被IDA当作了db解析，我们可以按照下表结构体的字段分布进行修改，手动将其解析一下，主要看name，id，label，type，其他怎么改影响不大。一下子就清晰了不少，然后我们就可以对照着枚举表还原出protobuf了。

1
2
3
4
5
6
7
8
//message.proto
syntax = "proto2";

message MyMessage{
    optional string name = 1;
    required bytes buffer = 3;
    required uint32 size = 4;
}

然后在命令行将其转化成python文件即可

1
protoc --python_out=. message.proto
2.自动分析

首先进入之前安装好的pbtk目录，python3 gui.py 就可以启动一个gui窗口，然后选择Extract .proto structures from apps，就可以选择pwn程序自动提取其中的proto文件了。但有时会不灵，还是手动分析有趣。

脚本编写

分析完proto的结构，就可以进行exp脚本的编写了，之前我们通过proto生成的python文件名为proto结构体名_pb2，可以先导入exp。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
import message_pb2
from pwn import *
context(arch="amd64",log_level="debug")
context.terminal=["cmd.exe","/c", "start", "cmd.exe", "/c", "wsl.exe", "-e"]
p = process("filename")
......
msg = message_pb2.MyMessage()		#创建结构体

#各字段赋值
msg.name = 'Admin'
msg.buffer = shellcode.ljust(0x208,b"a") + p64(canary) + p64(0) + p64(tar)
msg.size = 0x220

payload = msg.SerializeToString()		#转化成proto的序列化字符串
p.sendline(payload)
......

判别proto版本方式

一般proto分为proto2和proto3两个版本，在写proto文件时要在开头指明syntax=proto2/3。

在proto3中移除了require这个修饰符，如果有的label位为0（required），就说明用的是proto2语法。

其实也可以都带进去试试，总共就两个版本，别的地方没分析错的话总有一个会通过的。

常见问题解决

1.库找不到

可以手动在/usr/lib下添加一个链接

1
sudo ln -s /mnt/e/ctf/2024shctf/pwn/shctf——challage_pwn_protobuf/libprotobuf-c.so.1 /usr/lib/libprotobuf-c.so.1
2.运行exp时因为引入了proto转成的python文件报错

提高python库中protobuf的版本

1
2
pip3 uninstall protobuf
pip3 install protobuf==3.19.0
3.逆出结构体后prpto一直无法正常解析

可以尝试把sendline换成send，有时候多一个换行符就解析不出来了。

  • 标题: protobuf初探
  • 作者: collectcrop
  • 创建于 : 2024-11-21 23:47:01
  • 更新于 : 2024-11-23 23:26:34
  • 链接: https://collectcrop.github.io/2024/11/21/protobuf初探/
  • 版权声明: 本文章采用 CC BY-NC-SA 4.0 进行许可。
推荐阅读
云崽bot基础搭建过程记录 云崽bot基础搭建过程记录 非栈上格式化字符串一次利用 非栈上格式化字符串一次利用 快速在24.04Ubuntu搭建pwn环境 快速在24.04Ubuntu搭建pwn环境
推荐阅读
云崽bot基础搭建过程记录 云崽bot基础搭建过程记录 非栈上格式化字符串一次利用 非栈上格式化字符串一次利用
目录
protobuf初探
  1. protobuf简介
  2. 工具集安装
  3. 目标
  4. 一些结构体定义
    1. ProtobufCFieldDescriptor
    2. label和type
  • 定位结构体方式
    1. 1.手动定位
    2. 2.自动分析
  • 脚本编写
  • 判别proto版本方式
  • 常见问题解决
    1. 1.库找不到
    2. 2.运行exp时因为引入了proto转成的python文件报错
    3. 3.逆出结构体后prpto一直无法正常解析