Blame


1 efd2a263 2018-01-19 stsp /*
2 efd2a263 2018-01-19 stsp * Copyright (c) 2018 Stefan Sperling <stsp@openbsd.org>
3 efd2a263 2018-01-19 stsp *
4 efd2a263 2018-01-19 stsp * Permission to use, copy, modify, and distribute this software for any
5 efd2a263 2018-01-19 stsp * purpose with or without fee is hereby granted, provided that the above
6 efd2a263 2018-01-19 stsp * copyright notice and this permission notice appear in all copies.
7 efd2a263 2018-01-19 stsp *
8 efd2a263 2018-01-19 stsp * THE SOFTWARE IS PROVIDED "AS IS" AND THE AUTHOR DISCLAIMS ALL WARRANTIES
9 efd2a263 2018-01-19 stsp * WITH REGARD TO THIS SOFTWARE INCLUDING ALL IMPLIED WARRANTIES OF
10 efd2a263 2018-01-19 stsp * MERCHANTABILITY AND FITNESS. IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR
11 efd2a263 2018-01-19 stsp * ANY SPECIAL, DIRECT, INDIRECT, OR CONSEQUENTIAL DAMAGES OR ANY DAMAGES
12 efd2a263 2018-01-19 stsp * WHATSOEVER RESULTING FROM LOSS OF USE, DATA OR PROFITS, WHETHER IN AN
13 efd2a263 2018-01-19 stsp * ACTION OF CONTRACT, NEGLIGENCE OR OTHER TORTIOUS ACTION, ARISING OUT OF
14 efd2a263 2018-01-19 stsp * OR IN CONNECTION WITH THE USE OR PERFORMANCE OF THIS SOFTWARE.
15 efd2a263 2018-01-19 stsp */
16 efd2a263 2018-01-19 stsp
17 efd2a263 2018-01-19 stsp #include <sys/queue.h>
18 efd2a263 2018-01-19 stsp
19 efd2a263 2018-01-19 stsp #include <stdio.h>
20 96f5e8b3 2018-01-23 stsp #include <stdlib.h>
21 96f5e8b3 2018-01-23 stsp #include <string.h>
22 efd2a263 2018-01-19 stsp #include <zlib.h>
23 efd2a263 2018-01-19 stsp #include <sha1.h>
24 efd2a263 2018-01-19 stsp
25 efd2a263 2018-01-19 stsp #include "got_error.h"
26 efd2a263 2018-01-19 stsp #include "got_repository.h"
27 efd2a263 2018-01-19 stsp #include "got_object.h"
28 efd2a263 2018-01-19 stsp
29 32cb896c 2018-03-11 stsp #include "got_delta_lib.h"
30 32cb896c 2018-03-11 stsp #include "got_path_lib.h"
31 32cb896c 2018-03-11 stsp #include "got_zbuf_lib.h"
32 efd2a263 2018-01-19 stsp
33 885d3e02 2018-01-27 stsp #ifndef MIN
34 885d3e02 2018-01-27 stsp #define MIN(_a,_b) ((_a) < (_b) ? (_a) : (_b))
35 885d3e02 2018-01-27 stsp #endif
36 885d3e02 2018-01-27 stsp
37 c3703302 2018-01-23 stsp struct got_delta *
38 0e22967e 2018-02-11 stsp got_delta_open(const char *path_packfile, off_t offset, size_t tslen,
39 bdd2fbb3 2018-02-11 stsp int type, size_t size, off_t data_offset)
40 96f5e8b3 2018-01-23 stsp {
41 c3703302 2018-01-23 stsp struct got_delta *delta;
42 96f5e8b3 2018-01-23 stsp
43 c3703302 2018-01-23 stsp delta = calloc(1, sizeof(*delta));
44 c3703302 2018-01-23 stsp if (delta == NULL)
45 96f5e8b3 2018-01-23 stsp return NULL;
46 96f5e8b3 2018-01-23 stsp
47 c3703302 2018-01-23 stsp delta->path_packfile = strdup(path_packfile);
48 c3703302 2018-01-23 stsp if (delta->path_packfile == NULL) {
49 c3703302 2018-01-23 stsp free(delta);
50 96f5e8b3 2018-01-23 stsp return NULL;
51 96f5e8b3 2018-01-23 stsp }
52 c3703302 2018-01-23 stsp delta->type = type;
53 c3703302 2018-01-23 stsp delta->offset = offset;
54 0e22967e 2018-02-11 stsp delta->tslen = tslen;
55 c3703302 2018-01-23 stsp delta->size = size;
56 bdd2fbb3 2018-02-11 stsp delta->data_offset = data_offset;
57 c3703302 2018-01-23 stsp return delta;
58 96f5e8b3 2018-01-23 stsp }
59 96f5e8b3 2018-01-23 stsp
60 96f5e8b3 2018-01-23 stsp void
61 c3703302 2018-01-23 stsp got_delta_close(struct got_delta *delta)
62 96f5e8b3 2018-01-23 stsp {
63 c3703302 2018-01-23 stsp free(delta->path_packfile);
64 c3703302 2018-01-23 stsp free(delta);
65 96f5e8b3 2018-01-23 stsp
66 96f5e8b3 2018-01-23 stsp }
67 96f5e8b3 2018-01-23 stsp
68 efd2a263 2018-01-19 stsp const struct got_error *
69 96f5e8b3 2018-01-23 stsp got_delta_chain_get_base_type(int *type, struct got_delta_chain *deltas)
70 96f5e8b3 2018-01-23 stsp {
71 c3703302 2018-01-23 stsp struct got_delta *delta;
72 96f5e8b3 2018-01-23 stsp
73 6691714a 2018-01-23 stsp /* The first delta in the chain should represent the base object. */
74 6691714a 2018-01-23 stsp delta = SIMPLEQ_FIRST(&deltas->entries);
75 6691714a 2018-01-23 stsp if (delta->type == GOT_OBJ_TYPE_COMMIT ||
76 6691714a 2018-01-23 stsp delta->type == GOT_OBJ_TYPE_TREE ||
77 6691714a 2018-01-23 stsp delta->type == GOT_OBJ_TYPE_BLOB ||
78 6691714a 2018-01-23 stsp delta->type == GOT_OBJ_TYPE_TAG) {
79 6691714a 2018-01-23 stsp *type = delta->type;
80 6691714a 2018-01-23 stsp return NULL;
81 96f5e8b3 2018-01-23 stsp }
82 96f5e8b3 2018-01-23 stsp
83 96f5e8b3 2018-01-23 stsp return got_error(GOT_ERR_BAD_DELTA_CHAIN);
84 96f5e8b3 2018-01-23 stsp }
85 96f5e8b3 2018-01-23 stsp
86 885d3e02 2018-01-27 stsp /* Fetch another (required) byte from the delta stream. */
87 885d3e02 2018-01-27 stsp static const struct got_error *
88 885d3e02 2018-01-27 stsp next_delta_byte(const uint8_t **p, size_t *remain)
89 efd2a263 2018-01-19 stsp {
90 885d3e02 2018-01-27 stsp if (--(*remain) == 0)
91 885d3e02 2018-01-27 stsp return got_error(GOT_ERR_BAD_DELTA);
92 885d3e02 2018-01-27 stsp (*p)++;
93 885d3e02 2018-01-27 stsp return NULL;
94 efd2a263 2018-01-19 stsp }
95 885d3e02 2018-01-27 stsp
96 885d3e02 2018-01-27 stsp static const struct got_error *
97 885d3e02 2018-01-27 stsp parse_size(uint64_t *size, const uint8_t **p, size_t *remain)
98 885d3e02 2018-01-27 stsp {
99 885d3e02 2018-01-27 stsp const struct got_error *err = NULL;
100 885d3e02 2018-01-27 stsp int i = 0;
101 885d3e02 2018-01-27 stsp
102 885d3e02 2018-01-27 stsp *size = 0;
103 885d3e02 2018-01-27 stsp do {
104 885d3e02 2018-01-27 stsp /* We do not support size values which don't fit in 64 bit. */
105 885d3e02 2018-01-27 stsp if (i > 9)
106 885d3e02 2018-01-27 stsp return got_error(GOT_ERR_NO_SPACE);
107 885d3e02 2018-01-27 stsp
108 885d3e02 2018-01-27 stsp if (i == 0)
109 885d3e02 2018-01-27 stsp *size = ((**p) & GOT_DELTA_SIZE_VAL_MASK);
110 885d3e02 2018-01-27 stsp else {
111 885d3e02 2018-01-27 stsp size_t shift = GOT_DELTA_SIZE_SHIFT * i;
112 885d3e02 2018-01-27 stsp *size |= (((**p) & GOT_DELTA_SIZE_VAL_MASK) << shift);
113 885d3e02 2018-01-27 stsp }
114 885d3e02 2018-01-27 stsp
115 885d3e02 2018-01-27 stsp if (((**p) & GOT_DELTA_SIZE_MORE) == 0)
116 885d3e02 2018-01-27 stsp break;
117 885d3e02 2018-01-27 stsp i++;
118 885d3e02 2018-01-27 stsp err = next_delta_byte(p, remain);
119 885d3e02 2018-01-27 stsp } while (err == NULL);
120 885d3e02 2018-01-27 stsp
121 885d3e02 2018-01-27 stsp return err;
122 885d3e02 2018-01-27 stsp }
123 885d3e02 2018-01-27 stsp
124 885d3e02 2018-01-27 stsp static const struct got_error *
125 885d3e02 2018-01-27 stsp parse_opcode(off_t *offset, size_t *len, const uint8_t **p, size_t *remain)
126 885d3e02 2018-01-27 stsp {
127 885d3e02 2018-01-27 stsp const struct got_error *err = NULL;
128 885d3e02 2018-01-27 stsp off_t o = 0;
129 885d3e02 2018-01-27 stsp size_t l = 0;
130 885d3e02 2018-01-27 stsp uint8_t opcode = **p;
131 885d3e02 2018-01-27 stsp
132 885d3e02 2018-01-27 stsp if (opcode & GOT_DELTA_COPY_OFF1) {
133 885d3e02 2018-01-27 stsp err = next_delta_byte(p, remain);
134 885d3e02 2018-01-27 stsp if (err)
135 885d3e02 2018-01-27 stsp return err;
136 885d3e02 2018-01-27 stsp o = (off_t)(**p);
137 885d3e02 2018-01-27 stsp }
138 885d3e02 2018-01-27 stsp if (opcode & GOT_DELTA_COPY_OFF2) {
139 885d3e02 2018-01-27 stsp err = next_delta_byte(p, remain);
140 885d3e02 2018-01-27 stsp if (err)
141 885d3e02 2018-01-27 stsp return err;
142 885d3e02 2018-01-27 stsp o |= ((off_t)(**p)) << 8;
143 885d3e02 2018-01-27 stsp }
144 885d3e02 2018-01-27 stsp if (opcode & GOT_DELTA_COPY_OFF3) {
145 885d3e02 2018-01-27 stsp err = next_delta_byte(p, remain);
146 885d3e02 2018-01-27 stsp if (err)
147 885d3e02 2018-01-27 stsp return err;
148 885d3e02 2018-01-27 stsp o |= ((off_t)(**p)) << 16;
149 885d3e02 2018-01-27 stsp }
150 885d3e02 2018-01-27 stsp if (opcode & GOT_DELTA_COPY_OFF4) {
151 885d3e02 2018-01-27 stsp err = next_delta_byte(p, remain);
152 885d3e02 2018-01-27 stsp if (err)
153 885d3e02 2018-01-27 stsp return err;
154 885d3e02 2018-01-27 stsp o |= ((off_t)(**p)) << 24;
155 885d3e02 2018-01-27 stsp }
156 885d3e02 2018-01-27 stsp
157 885d3e02 2018-01-27 stsp if (opcode & GOT_DELTA_COPY_LEN1) {
158 885d3e02 2018-01-27 stsp err = next_delta_byte(p, remain);
159 885d3e02 2018-01-27 stsp if (err)
160 885d3e02 2018-01-27 stsp return err;
161 885d3e02 2018-01-27 stsp l = (off_t)(**p);
162 885d3e02 2018-01-27 stsp }
163 885d3e02 2018-01-27 stsp if (opcode & GOT_DELTA_COPY_LEN2) {
164 885d3e02 2018-01-27 stsp err = next_delta_byte(p, remain);
165 885d3e02 2018-01-27 stsp if (err)
166 885d3e02 2018-01-27 stsp return err;
167 885d3e02 2018-01-27 stsp l |= ((off_t)(**p)) << 8;
168 885d3e02 2018-01-27 stsp }
169 885d3e02 2018-01-27 stsp if (opcode & GOT_DELTA_COPY_LEN3) {
170 885d3e02 2018-01-27 stsp err = next_delta_byte(p, remain);
171 885d3e02 2018-01-27 stsp if (err)
172 885d3e02 2018-01-27 stsp return err;
173 885d3e02 2018-01-27 stsp l |= ((off_t)(**p)) << 16;
174 885d3e02 2018-01-27 stsp }
175 885d3e02 2018-01-27 stsp
176 885d3e02 2018-01-27 stsp if (o == 0)
177 885d3e02 2018-01-27 stsp o = GOT_DELTA_COPY_DEFAULT_OFF;
178 885d3e02 2018-01-27 stsp if (l == 0)
179 885d3e02 2018-01-27 stsp l = GOT_DELTA_COPY_DEFAULT_LEN;
180 885d3e02 2018-01-27 stsp
181 885d3e02 2018-01-27 stsp *offset = o;
182 885d3e02 2018-01-27 stsp *len = l;
183 885d3e02 2018-01-27 stsp return NULL;
184 885d3e02 2018-01-27 stsp }
185 885d3e02 2018-01-27 stsp
186 885d3e02 2018-01-27 stsp static const struct got_error *
187 885d3e02 2018-01-27 stsp copy_from_base(FILE *base_file, off_t offset, size_t size, FILE *outfile)
188 885d3e02 2018-01-27 stsp {
189 885d3e02 2018-01-27 stsp if (fseeko(base_file, offset, SEEK_SET) != 0)
190 885d3e02 2018-01-27 stsp return got_error_from_errno();
191 885d3e02 2018-01-27 stsp
192 885d3e02 2018-01-27 stsp while (size > 0) {
193 885d3e02 2018-01-27 stsp uint8_t data[2048];
194 885d3e02 2018-01-27 stsp size_t len = MIN(size, sizeof(data));
195 885d3e02 2018-01-27 stsp size_t n;
196 885d3e02 2018-01-27 stsp
197 885d3e02 2018-01-27 stsp n = fread(data, len, 1, base_file);
198 885d3e02 2018-01-27 stsp if (n != 1)
199 885d3e02 2018-01-27 stsp return got_ferror(base_file, GOT_ERR_IO);
200 885d3e02 2018-01-27 stsp
201 885d3e02 2018-01-27 stsp n = fwrite(data, len, 1, outfile);
202 885d3e02 2018-01-27 stsp if (n != 1)
203 885d3e02 2018-01-27 stsp return got_ferror(outfile, GOT_ERR_IO);
204 885d3e02 2018-01-27 stsp
205 885d3e02 2018-01-27 stsp size -= len;
206 885d3e02 2018-01-27 stsp }
207 885d3e02 2018-01-27 stsp
208 885d3e02 2018-01-27 stsp return NULL;
209 885d3e02 2018-01-27 stsp }
210 885d3e02 2018-01-27 stsp
211 885d3e02 2018-01-27 stsp static const struct got_error *
212 885d3e02 2018-01-27 stsp copy_from_delta(const uint8_t **p, size_t *remain, size_t len, FILE *outfile)
213 885d3e02 2018-01-27 stsp {
214 885d3e02 2018-01-27 stsp size_t n;
215 885d3e02 2018-01-27 stsp
216 885d3e02 2018-01-27 stsp if (*remain < len)
217 885d3e02 2018-01-27 stsp return got_error(GOT_ERR_BAD_DELTA);
218 885d3e02 2018-01-27 stsp
219 885d3e02 2018-01-27 stsp n = fwrite(*p, len, 1, outfile);
220 885d3e02 2018-01-27 stsp if (n != 1)
221 885d3e02 2018-01-27 stsp return got_ferror(outfile, GOT_ERR_IO);
222 885d3e02 2018-01-27 stsp
223 885d3e02 2018-01-27 stsp *p += len;
224 885d3e02 2018-01-27 stsp *remain -= len;
225 885d3e02 2018-01-27 stsp return NULL;
226 885d3e02 2018-01-27 stsp }
227 885d3e02 2018-01-27 stsp
228 22484865 2018-03-13 stsp static const struct got_error *
229 22484865 2018-03-13 stsp parse_delta_sizes(uint64_t *base_size, uint64_t *result_size,
230 22484865 2018-03-13 stsp const uint8_t **p, size_t *remain)
231 22484865 2018-03-13 stsp {
232 22484865 2018-03-13 stsp const struct got_error *err;
233 22484865 2018-03-13 stsp
234 22484865 2018-03-13 stsp /* Read the two size fields at the beginning of the stream. */
235 22484865 2018-03-13 stsp err = parse_size(base_size, p, remain);
236 22484865 2018-03-13 stsp if (err)
237 22484865 2018-03-13 stsp return err;
238 22484865 2018-03-13 stsp err = next_delta_byte(p, remain);
239 22484865 2018-03-13 stsp if (err)
240 22484865 2018-03-13 stsp return err;
241 22484865 2018-03-13 stsp err = parse_size(result_size, p, remain);
242 22484865 2018-03-13 stsp if (err)
243 22484865 2018-03-13 stsp return err;
244 22484865 2018-03-13 stsp
245 22484865 2018-03-13 stsp return NULL;
246 22484865 2018-03-13 stsp }
247 22484865 2018-03-13 stsp
248 885d3e02 2018-01-27 stsp const struct got_error *
249 22484865 2018-03-13 stsp got_delta_get_sizes(uint64_t *base_size, uint64_t *result_size,
250 22484865 2018-03-13 stsp const uint8_t *delta_buf, size_t delta_len)
251 22484865 2018-03-13 stsp {
252 22484865 2018-03-13 stsp size_t remain;
253 22484865 2018-03-13 stsp const uint8_t *p;
254 22484865 2018-03-13 stsp
255 22484865 2018-03-13 stsp if (delta_len < GOT_DELTA_STREAM_LENGTH_MIN)
256 22484865 2018-03-13 stsp return got_error(GOT_ERR_BAD_DELTA);
257 22484865 2018-03-13 stsp
258 22484865 2018-03-13 stsp p = delta_buf;
259 22484865 2018-03-13 stsp remain = delta_len;
260 22484865 2018-03-13 stsp return parse_delta_sizes(base_size, result_size, &p, &remain);
261 22484865 2018-03-13 stsp }
262 22484865 2018-03-13 stsp
263 22484865 2018-03-13 stsp const struct got_error *
264 0e22967e 2018-02-11 stsp got_delta_apply(FILE *base_file, const uint8_t *delta_buf,
265 885d3e02 2018-01-27 stsp size_t delta_len, FILE *outfile)
266 885d3e02 2018-01-27 stsp {
267 885d3e02 2018-01-27 stsp const struct got_error *err = NULL;
268 885d3e02 2018-01-27 stsp uint64_t base_size, result_size;
269 885d3e02 2018-01-27 stsp size_t remain, outsize = 0;
270 885d3e02 2018-01-27 stsp const uint8_t *p;
271 39ff877f 2018-03-13 stsp FILE *memstream = NULL;
272 39ff877f 2018-03-13 stsp char *memstream_buf = NULL;
273 39ff877f 2018-03-13 stsp size_t memstream_size = 0;
274 885d3e02 2018-01-27 stsp
275 885d3e02 2018-01-27 stsp if (delta_len < GOT_DELTA_STREAM_LENGTH_MIN)
276 885d3e02 2018-01-27 stsp return got_error(GOT_ERR_BAD_DELTA);
277 885d3e02 2018-01-27 stsp
278 885d3e02 2018-01-27 stsp p = delta_buf;
279 885d3e02 2018-01-27 stsp remain = delta_len;
280 22484865 2018-03-13 stsp err = parse_delta_sizes(&base_size, &result_size, &p, &remain);
281 885d3e02 2018-01-27 stsp if (err)
282 885d3e02 2018-01-27 stsp return err;
283 885d3e02 2018-01-27 stsp
284 39ff877f 2018-03-13 stsp if (result_size < GOT_DELTA_RESULT_SIZE_CACHED_MAX)
285 39ff877f 2018-03-13 stsp memstream = open_memstream(&memstream_buf, &memstream_size);
286 39ff877f 2018-03-13 stsp
287 885d3e02 2018-01-27 stsp /* Decode and execute copy instructions from the delta stream. */
288 885d3e02 2018-01-27 stsp err = next_delta_byte(&p, &remain);
289 06e5fc98 2018-02-11 stsp while (err == NULL && remain > 0) {
290 824801e7 2018-01-27 stsp if (*p & GOT_DELTA_BASE_COPY) {
291 885d3e02 2018-01-27 stsp off_t offset = 0;
292 885d3e02 2018-01-27 stsp size_t len = 0;
293 885d3e02 2018-01-27 stsp err = parse_opcode(&offset, &len, &p, &remain);
294 885d3e02 2018-01-27 stsp if (err)
295 885d3e02 2018-01-27 stsp break;
296 39ff877f 2018-03-13 stsp err = copy_from_base(base_file, offset, len,
297 39ff877f 2018-03-13 stsp memstream ? memstream : outfile);
298 06e5fc98 2018-02-11 stsp if (err == NULL) {
299 885d3e02 2018-01-27 stsp outsize += len;
300 06e5fc98 2018-02-11 stsp if (remain > 0) {
301 06e5fc98 2018-02-11 stsp p++;
302 06e5fc98 2018-02-11 stsp remain--;
303 06e5fc98 2018-02-11 stsp }
304 06e5fc98 2018-02-11 stsp }
305 885d3e02 2018-01-27 stsp } else {
306 885d3e02 2018-01-27 stsp size_t len = (size_t)*p;
307 885d3e02 2018-01-27 stsp if (len == 0) {
308 885d3e02 2018-01-27 stsp err = got_error(GOT_ERR_BAD_DELTA);
309 885d3e02 2018-01-27 stsp break;
310 885d3e02 2018-01-27 stsp }
311 885d3e02 2018-01-27 stsp err = next_delta_byte(&p, &remain);
312 885d3e02 2018-01-27 stsp if (err)
313 06e5fc98 2018-02-11 stsp break;
314 39ff877f 2018-03-13 stsp err = copy_from_delta(&p, &remain, len,
315 39ff877f 2018-03-13 stsp memstream ? memstream : outfile);
316 885d3e02 2018-01-27 stsp if (err == NULL)
317 885d3e02 2018-01-27 stsp outsize += len;
318 885d3e02 2018-01-27 stsp }
319 885d3e02 2018-01-27 stsp }
320 885d3e02 2018-01-27 stsp
321 885d3e02 2018-01-27 stsp if (outsize != result_size)
322 885d3e02 2018-01-27 stsp err = got_error(GOT_ERR_BAD_DELTA);
323 885d3e02 2018-01-27 stsp
324 39ff877f 2018-03-13 stsp if (memstream != NULL) {
325 39ff877f 2018-03-13 stsp fclose(memstream);
326 39ff877f 2018-03-13 stsp if (err == NULL) {
327 39ff877f 2018-03-13 stsp size_t n;
328 39ff877f 2018-03-13 stsp n = fwrite(memstream_buf, 1, memstream_size, outfile);
329 39ff877f 2018-03-13 stsp if (n != memstream_size)
330 39ff877f 2018-03-13 stsp err = got_ferror(outfile, GOT_ERR_IO);
331 39ff877f 2018-03-13 stsp }
332 39ff877f 2018-03-13 stsp free(memstream_buf);
333 39ff877f 2018-03-13 stsp }
334 885d3e02 2018-01-27 stsp if (err == NULL)
335 885d3e02 2018-01-27 stsp rewind(outfile);
336 885d3e02 2018-01-27 stsp return err;
337 885d3e02 2018-01-27 stsp }