1 63581804 2018-07-09 stsp /*
  2 63581804 2018-07-09 stsp  * Copyright (c) 2018 Stefan Sperling <stsp@openbsd.org>
  3 63581804 2018-07-09 stsp  *
  4 63581804 2018-07-09 stsp  * Permission to use, copy, modify, and distribute this software for any
  5 63581804 2018-07-09 stsp  * purpose with or without fee is hereby granted, provided that the above
  6 63581804 2018-07-09 stsp  * copyright notice and this permission notice appear in all copies.
  7 63581804 2018-07-09 stsp  *
  8 63581804 2018-07-09 stsp  * THE SOFTWARE IS PROVIDED "AS IS" AND THE AUTHOR DISCLAIMS ALL WARRANTIES
  9 63581804 2018-07-09 stsp  * WITH REGARD TO THIS SOFTWARE INCLUDING ALL IMPLIED WARRANTIES OF
 10 63581804 2018-07-09 stsp  * MERCHANTABILITY AND FITNESS. IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR
 11 63581804 2018-07-09 stsp  * ANY SPECIAL, DIRECT, INDIRECT, OR CONSEQUENTIAL DAMAGES OR ANY DAMAGES
 12 63581804 2018-07-09 stsp  * WHATSOEVER RESULTING FROM LOSS OF USE, DATA OR PROFITS, WHETHER IN AN
 13 63581804 2018-07-09 stsp  * ACTION OF CONTRACT, NEGLIGENCE OR OTHER TORTIOUS ACTION, ARISING OUT OF
 14 63581804 2018-07-09 stsp  * OR IN CONNECTION WITH THE USE OR PERFORMANCE OF THIS SOFTWARE.
 15 63581804 2018-07-09 stsp  */
 16 63581804 2018-07-09 stsp 
 17 68069cf6 2023-03-08 thomas #include "got_compat.h"
 18 68069cf6 2023-03-08 thomas 
 19 8b925c6c 2022-07-16 thomas #include <sys/queue.h>
 20 63581804 2018-07-09 stsp 
 21 5211b8c8 2019-03-19 stsp #include <errno.h>
 22 63581804 2018-07-09 stsp #include <stdio.h>
 23 63581804 2018-07-09 stsp #include <stdlib.h>
 24 63581804 2018-07-09 stsp #include <string.h>
 25 3efd8e31 2022-10-23 thomas #include <poll.h>
 26 81a12da5 2020-09-09 naddy #include <unistd.h>
 27 63581804 2018-07-09 stsp #include <zlib.h>
 28 63581804 2018-07-09 stsp #include <time.h>
 29 63581804 2018-07-09 stsp 
 30 63581804 2018-07-09 stsp #include "got_error.h"
 31 63581804 2018-07-09 stsp #include "got_object.h"
 32 324d37e7 2019-05-11 stsp #include "got_path.h"
 33 63581804 2018-07-09 stsp 
 34 b16893ba 2023-02-24 thomas #include "got_lib_hash.h"
 35 63581804 2018-07-09 stsp #include "got_lib_inflate.h"
 36 3efd8e31 2022-10-23 thomas #include "got_lib_poll.h"
 37 63581804 2018-07-09 stsp 
 38 63581804 2018-07-09 stsp #ifndef MIN
 39 63581804 2018-07-09 stsp #define	MIN(_a,_b) ((_a) < (_b) ? (_a) : (_b))
 40 63581804 2018-07-09 stsp #endif
 41 63581804 2018-07-09 stsp 
 42 63581804 2018-07-09 stsp const struct got_error *
 43 1e87a3c3 2020-03-18 stsp got_inflate_init(struct got_inflate_buf *zb, uint8_t *outbuf, size_t bufsize,
 44 6ad68bce 2020-03-24 stsp     struct got_inflate_checksum *csum)
 45 63581804 2018-07-09 stsp {
 46 63581804 2018-07-09 stsp 	const struct got_error *err = NULL;
 47 5211b8c8 2019-03-19 stsp 	int zerr;
 48 63581804 2018-07-09 stsp 
 49 fedfac2c 2022-11-08 thomas 	memset(zb, 0, sizeof(*zb));
 50 63581804 2018-07-09 stsp 
 51 63581804 2018-07-09 stsp 	zb->z.zalloc = Z_NULL;
 52 63581804 2018-07-09 stsp 	zb->z.zfree = Z_NULL;
 53 5211b8c8 2019-03-19 stsp 	zerr = inflateInit(&zb->z);
 54 5211b8c8 2019-03-19 stsp 	if (zerr != Z_OK) {
 55 5211b8c8 2019-03-19 stsp 		if  (zerr == Z_ERRNO)
 56 638f9024 2019-05-13 stsp 			return got_error_from_errno("inflateInit");
 57 5211b8c8 2019-03-19 stsp 		if  (zerr == Z_MEM_ERROR) {
 58 5211b8c8 2019-03-19 stsp 			errno = ENOMEM;
 59 638f9024 2019-05-13 stsp 			return got_error_from_errno("inflateInit");
 60 5211b8c8 2019-03-19 stsp 		}
 61 5211b8c8 2019-03-19 stsp 		return got_error(GOT_ERR_DECOMPRESSION);
 62 63581804 2018-07-09 stsp 	}
 63 63581804 2018-07-09 stsp 
 64 63581804 2018-07-09 stsp 	zb->inlen = zb->outlen = bufsize;
 65 63581804 2018-07-09 stsp 
 66 63581804 2018-07-09 stsp 	zb->inbuf = calloc(1, zb->inlen);
 67 63581804 2018-07-09 stsp 	if (zb->inbuf == NULL) {
 68 638f9024 2019-05-13 stsp 		err = got_error_from_errno("calloc");
 69 63581804 2018-07-09 stsp 		goto done;
 70 63581804 2018-07-09 stsp 	}
 71 63581804 2018-07-09 stsp 
 72 63581804 2018-07-09 stsp 	zb->flags = 0;
 73 63581804 2018-07-09 stsp 	if (outbuf == NULL) {
 74 63581804 2018-07-09 stsp 		zb->outbuf = calloc(1, zb->outlen);
 75 63581804 2018-07-09 stsp 		if (zb->outbuf == NULL) {
 76 638f9024 2019-05-13 stsp 			err = got_error_from_errno("calloc");
 77 63581804 2018-07-09 stsp 			goto done;
 78 63581804 2018-07-09 stsp 		}
 79 23bc48a9 2019-03-19 stsp 		zb->flags |= GOT_INFLATE_F_OWN_OUTBUF;
 80 63581804 2018-07-09 stsp 	} else
 81 63581804 2018-07-09 stsp 		zb->outbuf = outbuf;
 82 63581804 2018-07-09 stsp 
 83 6ad68bce 2020-03-24 stsp 	zb->csum = csum;
 84 63581804 2018-07-09 stsp done:
 85 63581804 2018-07-09 stsp 	if (err)
 86 63581804 2018-07-09 stsp 		got_inflate_end(zb);
 87 63581804 2018-07-09 stsp 	return err;
 88 63581804 2018-07-09 stsp }
 89 63581804 2018-07-09 stsp 
 90 6ad68bce 2020-03-24 stsp static void
 91 dbaa2362 2021-09-28 thomas csum_input(struct got_inflate_checksum *csum, const uint8_t *buf, size_t len)
 92 6ad68bce 2020-03-24 stsp {
 93 6ad68bce 2020-03-24 stsp 	if (csum->input_crc)
 94 6ad68bce 2020-03-24 stsp 		*csum->input_crc = crc32(*csum->input_crc, buf, len);
 95 b16893ba 2023-02-24 thomas 
 96 b16893ba 2023-02-24 thomas 	if (csum->input_ctx)
 97 b16893ba 2023-02-24 thomas 		got_hash_update(csum->input_ctx, buf, len);
 98 6ad68bce 2020-03-24 stsp }
 99 6ad68bce 2020-03-24 stsp 
100 d5c81d44 2021-07-08 stsp static void
101 dbaa2362 2021-09-28 thomas csum_output(struct got_inflate_checksum *csum, const uint8_t *buf, size_t len)
102 d5c81d44 2021-07-08 stsp {
103 d5c81d44 2021-07-08 stsp 	if (csum->output_crc)
104 d5c81d44 2021-07-08 stsp 		*csum->output_crc = crc32(*csum->output_crc, buf, len);
105 d5c81d44 2021-07-08 stsp 
106 b16893ba 2023-02-24 thomas 	if (csum->output_ctx)
107 b16893ba 2023-02-24 thomas 		got_hash_update(csum->output_ctx, buf, len);
108 d5c81d44 2021-07-08 stsp }
109 d5c81d44 2021-07-08 stsp 
110 63581804 2018-07-09 stsp const struct got_error *
111 6fb3a497 2020-03-18 stsp got_inflate_read(struct got_inflate_buf *zb, FILE *f, size_t *outlenp,
112 abc59930 2021-09-05 naddy     size_t *consumed)
113 63581804 2018-07-09 stsp {
114 63581804 2018-07-09 stsp 	size_t last_total_out = zb->z.total_out;
115 6fb3a497 2020-03-18 stsp 	size_t last_total_in = zb->z.total_in;
116 63581804 2018-07-09 stsp 	z_stream *z = &zb->z;
117 63581804 2018-07-09 stsp 	int ret = Z_ERRNO;
118 63581804 2018-07-09 stsp 
119 63581804 2018-07-09 stsp 	z->next_out = zb->outbuf;
120 63581804 2018-07-09 stsp 	z->avail_out = zb->outlen;
121 63581804 2018-07-09 stsp 
122 63581804 2018-07-09 stsp 	*outlenp = 0;
123 6fb3a497 2020-03-18 stsp 	if (consumed)
124 6fb3a497 2020-03-18 stsp 		*consumed = 0;
125 63581804 2018-07-09 stsp 	do {
126 dbaa2362 2021-09-28 thomas 		uint8_t *csum_in = NULL, *csum_out = NULL;
127 d5c81d44 2021-07-08 stsp 		size_t csum_avail_in = 0, csum_avail_out = 0;
128 1e87a3c3 2020-03-18 stsp 
129 63581804 2018-07-09 stsp 		if (z->avail_in == 0) {
130 63581804 2018-07-09 stsp 			size_t n = fread(zb->inbuf, 1, zb->inlen, f);
131 63581804 2018-07-09 stsp 			if (n == 0) {
132 63581804 2018-07-09 stsp 				if (ferror(f))
133 63581804 2018-07-09 stsp 					return got_ferror(f, GOT_ERR_IO);
134 63581804 2018-07-09 stsp 				/* EOF */
135 63581804 2018-07-09 stsp 				ret = Z_STREAM_END;
136 63581804 2018-07-09 stsp 				break;
137 63581804 2018-07-09 stsp 			}
138 63581804 2018-07-09 stsp 			z->next_in = zb->inbuf;
139 63581804 2018-07-09 stsp 			z->avail_in = n;
140 63581804 2018-07-09 stsp 		}
141 6ad68bce 2020-03-24 stsp 		if (zb->csum) {
142 6ad68bce 2020-03-24 stsp 			csum_in = z->next_in;
143 d5c81d44 2021-07-08 stsp 			csum_avail_in = z->avail_in;
144 d5c81d44 2021-07-08 stsp 			csum_out = z->next_out;
145 d5c81d44 2021-07-08 stsp 			csum_avail_out = z->avail_out;
146 1e87a3c3 2020-03-18 stsp 		}
147 63581804 2018-07-09 stsp 		ret = inflate(z, Z_SYNC_FLUSH);
148 d5c81d44 2021-07-08 stsp 		if (zb->csum) {
149 d5c81d44 2021-07-08 stsp 			csum_input(zb->csum, csum_in,
150 d5c81d44 2021-07-08 stsp 			    csum_avail_in - z->avail_in);
151 d5c81d44 2021-07-08 stsp 			csum_output(zb->csum, csum_out,
152 d5c81d44 2021-07-08 stsp 			    csum_avail_out - z->avail_out);
153 d5c81d44 2021-07-08 stsp 		}
154 63581804 2018-07-09 stsp 	} while (ret == Z_OK && z->avail_out > 0);
155 63581804 2018-07-09 stsp 
156 8baa7d26 2020-03-17 stsp 	if (ret == Z_OK || ret == Z_BUF_ERROR) {
157 23bc48a9 2019-03-19 stsp 		zb->flags |= GOT_INFLATE_F_HAVE_MORE;
158 63581804 2018-07-09 stsp 	} else {
159 63581804 2018-07-09 stsp 		if (ret != Z_STREAM_END)
160 63581804 2018-07-09 stsp 			return got_error(GOT_ERR_DECOMPRESSION);
161 23bc48a9 2019-03-19 stsp 		zb->flags &= ~GOT_INFLATE_F_HAVE_MORE;
162 63581804 2018-07-09 stsp 	}
163 63581804 2018-07-09 stsp 
164 63581804 2018-07-09 stsp 	*outlenp = z->total_out - last_total_out;
165 6fb3a497 2020-03-18 stsp 	if (consumed)
166 6fb3a497 2020-03-18 stsp 		*consumed += z->total_in - last_total_in;
167 63581804 2018-07-09 stsp 	return NULL;
168 63581804 2018-07-09 stsp }
169 63581804 2018-07-09 stsp 
170 63581804 2018-07-09 stsp const struct got_error *
171 3ab5e33c 2020-03-18 stsp got_inflate_read_fd(struct got_inflate_buf *zb, int fd, size_t *outlenp,
172 3ab5e33c 2020-03-18 stsp     size_t *consumed)
173 63581804 2018-07-09 stsp {
174 3efd8e31 2022-10-23 thomas 	const struct got_error *err = NULL;
175 63581804 2018-07-09 stsp 	size_t last_total_out = zb->z.total_out;
176 3ab5e33c 2020-03-18 stsp 	size_t last_total_in = zb->z.total_in;
177 63581804 2018-07-09 stsp 	z_stream *z = &zb->z;
178 63581804 2018-07-09 stsp 	int ret = Z_ERRNO;
179 63581804 2018-07-09 stsp 
180 63581804 2018-07-09 stsp 	z->next_out = zb->outbuf;
181 63581804 2018-07-09 stsp 	z->avail_out = zb->outlen;
182 63581804 2018-07-09 stsp 
183 63581804 2018-07-09 stsp 	*outlenp = 0;
184 3ab5e33c 2020-03-18 stsp 	if (consumed)
185 3ab5e33c 2020-03-18 stsp 		*consumed = 0;
186 63581804 2018-07-09 stsp 	do {
187 dbaa2362 2021-09-28 thomas 		uint8_t *csum_in = NULL, *csum_out = NULL;
188 d5c81d44 2021-07-08 stsp 		size_t csum_avail_in = 0, csum_avail_out = 0;
189 1e87a3c3 2020-03-18 stsp 
190 63581804 2018-07-09 stsp 		if (z->avail_in == 0) {
191 3efd8e31 2022-10-23 thomas 			ssize_t n;
192 3efd8e31 2022-10-23 thomas 			err = got_poll_fd(fd, POLLIN, INFTIM);
193 3efd8e31 2022-10-23 thomas 			if (err) {
194 3efd8e31 2022-10-23 thomas 				if (err->code == GOT_ERR_EOF) {
195 3efd8e31 2022-10-23 thomas 					ret = Z_STREAM_END;
196 3efd8e31 2022-10-23 thomas 					break;
197 3efd8e31 2022-10-23 thomas 				}
198 3efd8e31 2022-10-23 thomas 				return err;
199 3efd8e31 2022-10-23 thomas 			}
200 3efd8e31 2022-10-23 thomas 			n = read(fd, zb->inbuf, zb->inlen);
201 63581804 2018-07-09 stsp 			if (n < 0)
202 638f9024 2019-05-13 stsp 				return got_error_from_errno("read");
203 63581804 2018-07-09 stsp 			else if (n == 0) {
204 63581804 2018-07-09 stsp 				/* EOF */
205 63581804 2018-07-09 stsp 				ret = Z_STREAM_END;
206 63581804 2018-07-09 stsp 				break;
207 63581804 2018-07-09 stsp 			}
208 63581804 2018-07-09 stsp 			z->next_in = zb->inbuf;
209 63581804 2018-07-09 stsp 			z->avail_in = n;
210 63581804 2018-07-09 stsp 		}
211 6ad68bce 2020-03-24 stsp 		if (zb->csum) {
212 6ad68bce 2020-03-24 stsp 			csum_in = z->next_in;
213 d5c81d44 2021-07-08 stsp 			csum_avail_in = z->avail_in;
214 d5c81d44 2021-07-08 stsp 			csum_out = z->next_out;
215 d5c81d44 2021-07-08 stsp 			csum_avail_out = z->avail_out;
216 1e87a3c3 2020-03-18 stsp 		}
217 63581804 2018-07-09 stsp 		ret = inflate(z, Z_SYNC_FLUSH);
218 d5c81d44 2021-07-08 stsp 		if (zb->csum) {
219 d5c81d44 2021-07-08 stsp 			csum_input(zb->csum, csum_in,
220 d5c81d44 2021-07-08 stsp 			    csum_avail_in - z->avail_in);
221 d5c81d44 2021-07-08 stsp 			csum_output(zb->csum, csum_out,
222 d5c81d44 2021-07-08 stsp 			    csum_avail_out - z->avail_out);
223 d5c81d44 2021-07-08 stsp 		}
224 63581804 2018-07-09 stsp 	} while (ret == Z_OK && z->avail_out > 0);
225 63581804 2018-07-09 stsp 
226 686d24ff 2020-03-15 stsp 	if (ret == Z_OK || ret == Z_BUF_ERROR) {
227 23bc48a9 2019-03-19 stsp 		zb->flags |= GOT_INFLATE_F_HAVE_MORE;
228 63581804 2018-07-09 stsp 	} else {
229 63581804 2018-07-09 stsp 		if (ret != Z_STREAM_END)
230 63581804 2018-07-09 stsp 			return got_error(GOT_ERR_DECOMPRESSION);
231 23bc48a9 2019-03-19 stsp 		zb->flags &= ~GOT_INFLATE_F_HAVE_MORE;
232 63581804 2018-07-09 stsp 	}
233 63581804 2018-07-09 stsp 
234 63581804 2018-07-09 stsp 	*outlenp = z->total_out - last_total_out;
235 3ab5e33c 2020-03-18 stsp 	if (consumed)
236 3ab5e33c 2020-03-18 stsp 		*consumed += z->total_in - last_total_in;
237 63581804 2018-07-09 stsp 	return NULL;
238 63581804 2018-07-09 stsp }
239 63581804 2018-07-09 stsp 
240 63581804 2018-07-09 stsp const struct got_error *
241 23bc48a9 2019-03-19 stsp got_inflate_read_mmap(struct got_inflate_buf *zb, uint8_t *map, size_t offset,
242 63581804 2018-07-09 stsp     size_t len, size_t *outlenp, size_t *consumed)
243 63581804 2018-07-09 stsp {
244 63581804 2018-07-09 stsp 	size_t last_total_out = zb->z.total_out;
245 63581804 2018-07-09 stsp 	z_stream *z = &zb->z;
246 63581804 2018-07-09 stsp 	int ret = Z_ERRNO;
247 63581804 2018-07-09 stsp 
248 63581804 2018-07-09 stsp 	z->next_out = zb->outbuf;
249 63581804 2018-07-09 stsp 	z->avail_out = zb->outlen;
250 63581804 2018-07-09 stsp 
251 63581804 2018-07-09 stsp 	*outlenp = 0;
252 63581804 2018-07-09 stsp 	*consumed = 0;
253 63581804 2018-07-09 stsp 
254 63581804 2018-07-09 stsp 	do {
255 dbaa2362 2021-09-28 thomas 		uint8_t *csum_in = NULL, *csum_out = NULL;
256 d5c81d44 2021-07-08 stsp 		size_t csum_avail_in = 0, csum_avail_out = 0;
257 37bd7602 2018-07-23 stsp 		size_t last_total_in = zb->z.total_in;
258 1e87a3c3 2020-03-18 stsp 
259 63581804 2018-07-09 stsp 		if (z->avail_in == 0) {
260 63581804 2018-07-09 stsp 			if (len == 0) {
261 63581804 2018-07-09 stsp 				/* EOF */
262 63581804 2018-07-09 stsp 				ret = Z_STREAM_END;
263 63581804 2018-07-09 stsp 				break;
264 63581804 2018-07-09 stsp 			}
265 37bd7602 2018-07-23 stsp 			z->next_in = map + offset + *consumed;
266 f6a55b40 2022-02-12 thomas 			if (len - *consumed > UINT_MAX)
267 f6a55b40 2022-02-12 thomas 				z->avail_in = UINT_MAX;
268 f6a55b40 2022-02-12 thomas 			else
269 f6a55b40 2022-02-12 thomas 				z->avail_in = len - *consumed;
270 63581804 2018-07-09 stsp 		}
271 6ad68bce 2020-03-24 stsp 		if (zb->csum) {
272 6ad68bce 2020-03-24 stsp 			csum_in = z->next_in;
273 d5c81d44 2021-07-08 stsp 			csum_avail_in = z->avail_in;
274 d5c81d44 2021-07-08 stsp 			csum_out = z->next_out;
275 d5c81d44 2021-07-08 stsp 			csum_avail_out = z->avail_out;
276 1e87a3c3 2020-03-18 stsp 		}
277 63581804 2018-07-09 stsp 		ret = inflate(z, Z_SYNC_FLUSH);
278 d5c81d44 2021-07-08 stsp 		if (zb->csum) {
279 d5c81d44 2021-07-08 stsp 			csum_input(zb->csum, csum_in,
280 d5c81d44 2021-07-08 stsp 			    csum_avail_in - z->avail_in);
281 d5c81d44 2021-07-08 stsp 			csum_output(zb->csum, csum_out,
282 d5c81d44 2021-07-08 stsp 			    csum_avail_out - z->avail_out);
283 d5c81d44 2021-07-08 stsp 		}
284 37bd7602 2018-07-23 stsp 		*consumed += z->total_in - last_total_in;
285 63581804 2018-07-09 stsp 	} while (ret == Z_OK && z->avail_out > 0);
286 63581804 2018-07-09 stsp 
287 686d24ff 2020-03-15 stsp 	if (ret == Z_OK || ret == Z_BUF_ERROR) {
288 23bc48a9 2019-03-19 stsp 		zb->flags |= GOT_INFLATE_F_HAVE_MORE;
289 63581804 2018-07-09 stsp 	} else {
290 63581804 2018-07-09 stsp 		if (ret != Z_STREAM_END)
291 63581804 2018-07-09 stsp 			return got_error(GOT_ERR_DECOMPRESSION);
292 23bc48a9 2019-03-19 stsp 		zb->flags &= ~GOT_INFLATE_F_HAVE_MORE;
293 63581804 2018-07-09 stsp 	}
294 63581804 2018-07-09 stsp 
295 63581804 2018-07-09 stsp 	*outlenp = z->total_out - last_total_out;
296 63581804 2018-07-09 stsp 	return NULL;
297 63581804 2018-07-09 stsp }
298 63581804 2018-07-09 stsp 
299 63581804 2018-07-09 stsp void
300 23bc48a9 2019-03-19 stsp got_inflate_end(struct got_inflate_buf *zb)
301 63581804 2018-07-09 stsp {
302 63581804 2018-07-09 stsp 	free(zb->inbuf);
303 23bc48a9 2019-03-19 stsp 	if (zb->flags & GOT_INFLATE_F_OWN_OUTBUF)
304 63581804 2018-07-09 stsp 		free(zb->outbuf);
305 63581804 2018-07-09 stsp 	inflateEnd(&zb->z);
306 63581804 2018-07-09 stsp }
307 63581804 2018-07-09 stsp 
308 63581804 2018-07-09 stsp const struct got_error *
309 6fb3a497 2020-03-18 stsp got_inflate_to_mem(uint8_t **outbuf, size_t *outlen,
310 12f2167a 2021-07-04 stsp     size_t *consumed_total, struct got_inflate_checksum *csum, FILE *f)
311 63581804 2018-07-09 stsp {
312 63581804 2018-07-09 stsp 	const struct got_error *err;
313 6fb3a497 2020-03-18 stsp 	size_t avail, consumed;
314 23bc48a9 2019-03-19 stsp 	struct got_inflate_buf zb;
315 63581804 2018-07-09 stsp 	void *newbuf;
316 17d745b8 2018-07-23 stsp 	int nbuf = 1;
317 63581804 2018-07-09 stsp 
318 2decf4c6 2020-03-18 stsp 	if (outbuf) {
319 2decf4c6 2020-03-18 stsp 		*outbuf = malloc(GOT_INFLATE_BUFSIZE);
320 2decf4c6 2020-03-18 stsp 		if (*outbuf == NULL)
321 2decf4c6 2020-03-18 stsp 			return got_error_from_errno("malloc");
322 12f2167a 2021-07-04 stsp 		err = got_inflate_init(&zb, *outbuf, GOT_INFLATE_BUFSIZE, csum);
323 2decf4c6 2020-03-18 stsp 	} else
324 12f2167a 2021-07-04 stsp 		err = got_inflate_init(&zb, NULL, GOT_INFLATE_BUFSIZE, csum);
325 63581804 2018-07-09 stsp 	if (err)
326 63581804 2018-07-09 stsp 		return err;
327 63581804 2018-07-09 stsp 
328 63581804 2018-07-09 stsp 	*outlen = 0;
329 6fb3a497 2020-03-18 stsp 	if (consumed_total)
330 6fb3a497 2020-03-18 stsp 		*consumed_total = 0;
331 63581804 2018-07-09 stsp 
332 63581804 2018-07-09 stsp 	do {
333 6fb3a497 2020-03-18 stsp 		err = got_inflate_read(&zb, f, &avail, &consumed);
334 63581804 2018-07-09 stsp 		if (err)
335 5aef3967 2018-07-22 stsp 			goto done;
336 63581804 2018-07-09 stsp 		*outlen += avail;
337 6fb3a497 2020-03-18 stsp 		if (consumed_total)
338 6fb3a497 2020-03-18 stsp 			*consumed_total += consumed;
339 23bc48a9 2019-03-19 stsp 		if (zb.flags & GOT_INFLATE_F_HAVE_MORE) {
340 2decf4c6 2020-03-18 stsp 			if (outbuf == NULL)
341 2decf4c6 2020-03-18 stsp 				continue;
342 6dc3b75a 2019-05-22 stsp 			newbuf = reallocarray(*outbuf, ++nbuf,
343 62d463ca 2020-10-20 naddy 			    GOT_INFLATE_BUFSIZE);
344 63581804 2018-07-09 stsp 			if (newbuf == NULL) {
345 6dc3b75a 2019-05-22 stsp 				err = got_error_from_errno("reallocarray");
346 63581804 2018-07-09 stsp 				free(*outbuf);
347 63581804 2018-07-09 stsp 				*outbuf = NULL;
348 63581804 2018-07-09 stsp 				*outlen = 0;
349 63581804 2018-07-09 stsp 				goto done;
350 63581804 2018-07-09 stsp 			}
351 63581804 2018-07-09 stsp 			*outbuf = newbuf;
352 63581804 2018-07-09 stsp 			zb.outbuf = newbuf + *outlen;
353 9c8bf189 2022-02-12 thomas 			zb.outlen = (nbuf * GOT_INFLATE_BUFSIZE) - *outlen;
354 63581804 2018-07-09 stsp 		}
355 23bc48a9 2019-03-19 stsp 	} while (zb.flags & GOT_INFLATE_F_HAVE_MORE);
356 63581804 2018-07-09 stsp 
357 63581804 2018-07-09 stsp done:
358 63581804 2018-07-09 stsp 	got_inflate_end(&zb);
359 63581804 2018-07-09 stsp 	return err;
360 63581804 2018-07-09 stsp }
361 63581804 2018-07-09 stsp 
362 63581804 2018-07-09 stsp const struct got_error *
363 3ab5e33c 2020-03-18 stsp got_inflate_to_mem_fd(uint8_t **outbuf, size_t *outlen,
364 b6b86fd1 2022-08-30 thomas     size_t *consumed_total, struct got_inflate_checksum *csum,
365 6ad68bce 2020-03-24 stsp     size_t expected_size, int infd)
366 63581804 2018-07-09 stsp {
367 63581804 2018-07-09 stsp 	const struct got_error *err;
368 3ab5e33c 2020-03-18 stsp 	size_t avail, consumed;
369 23bc48a9 2019-03-19 stsp 	struct got_inflate_buf zb;
370 63581804 2018-07-09 stsp 	void *newbuf;
371 17d745b8 2018-07-23 stsp 	int nbuf = 1;
372 55fdd257 2020-03-18 stsp 	size_t bufsize = GOT_INFLATE_BUFSIZE;
373 63581804 2018-07-09 stsp 
374 55fdd257 2020-03-18 stsp 	/* Optimize buffer size in case short reads should suffice. */
375 55fdd257 2020-03-18 stsp 	if (expected_size > 0 && expected_size < bufsize)
376 55fdd257 2020-03-18 stsp 		bufsize = expected_size;
377 3168e5da 2020-09-10 stsp 
378 2decf4c6 2020-03-18 stsp 	if (outbuf) {
379 55fdd257 2020-03-18 stsp 		*outbuf = malloc(bufsize);
380 2decf4c6 2020-03-18 stsp 		if (*outbuf == NULL)
381 2decf4c6 2020-03-18 stsp 			return got_error_from_errno("malloc");
382 6ad68bce 2020-03-24 stsp 		err = got_inflate_init(&zb, *outbuf, GOT_INFLATE_BUFSIZE, csum);
383 2decf4c6 2020-03-18 stsp 	} else
384 6ad68bce 2020-03-24 stsp 		err = got_inflate_init(&zb, NULL, bufsize, csum);
385 63581804 2018-07-09 stsp 	if (err)
386 5aef3967 2018-07-22 stsp 		goto done;
387 63581804 2018-07-09 stsp 
388 63581804 2018-07-09 stsp 	*outlen = 0;
389 3ab5e33c 2020-03-18 stsp 	if (consumed_total)
390 3ab5e33c 2020-03-18 stsp 		*consumed_total = 0;
391 63581804 2018-07-09 stsp 
392 63581804 2018-07-09 stsp 	do {
393 3ab5e33c 2020-03-18 stsp 		err = got_inflate_read_fd(&zb, infd, &avail, &consumed);
394 63581804 2018-07-09 stsp 		if (err)
395 5aef3967 2018-07-22 stsp 			goto done;
396 63581804 2018-07-09 stsp 		*outlen += avail;
397 3ab5e33c 2020-03-18 stsp 		if (consumed_total)
398 3ab5e33c 2020-03-18 stsp 			*consumed_total += consumed;
399 23bc48a9 2019-03-19 stsp 		if (zb.flags & GOT_INFLATE_F_HAVE_MORE) {
400 2decf4c6 2020-03-18 stsp 			if (outbuf == NULL)
401 2decf4c6 2020-03-18 stsp 				continue;
402 f2c5fe0e 2019-05-22 stsp 			newbuf = reallocarray(*outbuf, ++nbuf,
403 23bc48a9 2019-03-19 stsp 			    GOT_INFLATE_BUFSIZE);
404 63581804 2018-07-09 stsp 			if (newbuf == NULL) {
405 f2c5fe0e 2019-05-22 stsp 				err = got_error_from_errno("reallocarray");
406 63581804 2018-07-09 stsp 				free(*outbuf);
407 63581804 2018-07-09 stsp 				*outbuf = NULL;
408 63581804 2018-07-09 stsp 				*outlen = 0;
409 63581804 2018-07-09 stsp 				goto done;
410 63581804 2018-07-09 stsp 			}
411 63581804 2018-07-09 stsp 			*outbuf = newbuf;
412 63581804 2018-07-09 stsp 			zb.outbuf = newbuf + *outlen;
413 9c8bf189 2022-02-12 thomas 			zb.outlen = (nbuf * GOT_INFLATE_BUFSIZE) - *outlen;
414 63581804 2018-07-09 stsp 		}
415 23bc48a9 2019-03-19 stsp 	} while (zb.flags & GOT_INFLATE_F_HAVE_MORE);
416 63581804 2018-07-09 stsp 
417 63581804 2018-07-09 stsp done:
418 63581804 2018-07-09 stsp 	got_inflate_end(&zb);
419 63581804 2018-07-09 stsp 	return err;
420 63581804 2018-07-09 stsp }
421 63581804 2018-07-09 stsp 
422 63581804 2018-07-09 stsp const struct got_error *
423 2e5a6fad 2020-03-18 stsp got_inflate_to_mem_mmap(uint8_t **outbuf, size_t *outlen,
424 6ad68bce 2020-03-24 stsp     size_t *consumed_total, struct got_inflate_checksum *csum, uint8_t *map,
425 6ad68bce 2020-03-24 stsp     size_t offset, size_t len)
426 63581804 2018-07-09 stsp {
427 63581804 2018-07-09 stsp 	const struct got_error *err;
428 37bd7602 2018-07-23 stsp 	size_t avail, consumed;
429 23bc48a9 2019-03-19 stsp 	struct got_inflate_buf zb;
430 63581804 2018-07-09 stsp 	void *newbuf;
431 37bd7602 2018-07-23 stsp 	int nbuf = 1;
432 63581804 2018-07-09 stsp 
433 2e5a6fad 2020-03-18 stsp 	if (outbuf) {
434 2e5a6fad 2020-03-18 stsp 		*outbuf = malloc(GOT_INFLATE_BUFSIZE);
435 2e5a6fad 2020-03-18 stsp 		if (*outbuf == NULL)
436 2e5a6fad 2020-03-18 stsp 			return got_error_from_errno("malloc");
437 6ad68bce 2020-03-24 stsp 		err = got_inflate_init(&zb, *outbuf, GOT_INFLATE_BUFSIZE, csum);
438 2e5a6fad 2020-03-18 stsp 		if (err) {
439 2e5a6fad 2020-03-18 stsp 			free(*outbuf);
440 2e5a6fad 2020-03-18 stsp 			*outbuf = NULL;
441 2e5a6fad 2020-03-18 stsp 			return err;
442 2e5a6fad 2020-03-18 stsp 		}
443 2e5a6fad 2020-03-18 stsp 	} else {
444 6ad68bce 2020-03-24 stsp 		err = got_inflate_init(&zb, NULL, GOT_INFLATE_BUFSIZE, csum);
445 d94c35b0 2022-01-23 thomas 		if (err)
446 d94c35b0 2022-01-23 thomas 			return err;
447 60507209 2018-07-13 stsp 	}
448 63581804 2018-07-09 stsp 
449 63581804 2018-07-09 stsp 	*outlen = 0;
450 2e5a6fad 2020-03-18 stsp 	if (consumed_total)
451 2e5a6fad 2020-03-18 stsp 		*consumed_total = 0;
452 63581804 2018-07-09 stsp 	do {
453 63581804 2018-07-09 stsp 		err = got_inflate_read_mmap(&zb, map, offset, len, &avail,
454 63581804 2018-07-09 stsp 		    &consumed);
455 63581804 2018-07-09 stsp 		if (err)
456 3efa19e7 2018-07-13 stsp 			goto done;
457 63581804 2018-07-09 stsp 		offset += consumed;
458 2e5a6fad 2020-03-18 stsp 		if (consumed_total)
459 2e5a6fad 2020-03-18 stsp 			*consumed_total += consumed;
460 63581804 2018-07-09 stsp 		len -= consumed;
461 63581804 2018-07-09 stsp 		*outlen += avail;
462 63581804 2018-07-09 stsp 		if (len == 0)
463 63581804 2018-07-09 stsp 			break;
464 23bc48a9 2019-03-19 stsp 		if (zb.flags & GOT_INFLATE_F_HAVE_MORE) {
465 2e5a6fad 2020-03-18 stsp 			if (outbuf == NULL)
466 2e5a6fad 2020-03-18 stsp 				continue;
467 b3a605ce 2019-05-22 stsp 			newbuf = reallocarray(*outbuf, ++nbuf,
468 23bc48a9 2019-03-19 stsp 			    GOT_INFLATE_BUFSIZE);
469 63581804 2018-07-09 stsp 			if (newbuf == NULL) {
470 b3a605ce 2019-05-22 stsp 				err = got_error_from_errno("reallocarray");
471 63581804 2018-07-09 stsp 				free(*outbuf);
472 63581804 2018-07-09 stsp 				*outbuf = NULL;
473 63581804 2018-07-09 stsp 				*outlen = 0;
474 63581804 2018-07-09 stsp 				goto done;
475 63581804 2018-07-09 stsp 			}
476 63581804 2018-07-09 stsp 			*outbuf = newbuf;
477 63581804 2018-07-09 stsp 			zb.outbuf = newbuf + *outlen;
478 23bc48a9 2019-03-19 stsp 			zb.outlen = (nbuf * GOT_INFLATE_BUFSIZE) - *outlen;
479 63581804 2018-07-09 stsp 		}
480 23bc48a9 2019-03-19 stsp 	} while (zb.flags & GOT_INFLATE_F_HAVE_MORE);
481 63581804 2018-07-09 stsp done:
482 63581804 2018-07-09 stsp 	got_inflate_end(&zb);
483 63581804 2018-07-09 stsp 	return err;
484 63581804 2018-07-09 stsp }
485 63581804 2018-07-09 stsp 
486 63581804 2018-07-09 stsp const struct got_error *
487 12f2167a 2021-07-04 stsp got_inflate_to_fd(size_t *outlen, FILE *infile,
488 12f2167a 2021-07-04 stsp     struct got_inflate_checksum *csum, int outfd)
489 63581804 2018-07-09 stsp {
490 63581804 2018-07-09 stsp 	const struct got_error *err = NULL;
491 63581804 2018-07-09 stsp 	size_t avail;
492 23bc48a9 2019-03-19 stsp 	struct got_inflate_buf zb;
493 63581804 2018-07-09 stsp 
494 12f2167a 2021-07-04 stsp 	err = got_inflate_init(&zb, NULL, GOT_INFLATE_BUFSIZE, csum);
495 63581804 2018-07-09 stsp 	if (err)
496 63581804 2018-07-09 stsp 		goto done;
497 63581804 2018-07-09 stsp 
498 63581804 2018-07-09 stsp 	*outlen = 0;
499 63581804 2018-07-09 stsp 
500 63581804 2018-07-09 stsp 	do {
501 6fb3a497 2020-03-18 stsp 		err = got_inflate_read(&zb, infile, &avail, NULL);
502 63581804 2018-07-09 stsp 		if (err)
503 5aef3967 2018-07-22 stsp 			goto done;
504 63581804 2018-07-09 stsp 		if (avail > 0) {
505 63581804 2018-07-09 stsp 			ssize_t n;
506 63581804 2018-07-09 stsp 			n = write(outfd, zb.outbuf, avail);
507 63581804 2018-07-09 stsp 			if (n != avail) {
508 638f9024 2019-05-13 stsp 				err = got_error_from_errno("write");
509 63581804 2018-07-09 stsp 				goto done;
510 63581804 2018-07-09 stsp 			}
511 63581804 2018-07-09 stsp 			*outlen += avail;
512 63581804 2018-07-09 stsp 		}
513 23bc48a9 2019-03-19 stsp 	} while (zb.flags & GOT_INFLATE_F_HAVE_MORE);
514 63581804 2018-07-09 stsp 
515 63581804 2018-07-09 stsp done:
516 63581804 2018-07-09 stsp 	if (err == NULL) {
517 63581804 2018-07-09 stsp 		if (lseek(outfd, SEEK_SET, 0) == -1)
518 638f9024 2019-05-13 stsp 			err = got_error_from_errno("lseek");
519 63581804 2018-07-09 stsp 	}
520 63581804 2018-07-09 stsp 	got_inflate_end(&zb);
521 63581804 2018-07-09 stsp 	return err;
522 63581804 2018-07-09 stsp }
523 63581804 2018-07-09 stsp 
524 63581804 2018-07-09 stsp const struct got_error *
525 12f2167a 2021-07-04 stsp got_inflate_to_file(size_t *outlen, FILE *infile,
526 12f2167a 2021-07-04 stsp     struct got_inflate_checksum *csum, FILE *outfile)
527 63581804 2018-07-09 stsp {
528 63581804 2018-07-09 stsp 	const struct got_error *err;
529 63581804 2018-07-09 stsp 	size_t avail;
530 23bc48a9 2019-03-19 stsp 	struct got_inflate_buf zb;
531 63581804 2018-07-09 stsp 
532 12f2167a 2021-07-04 stsp 	err = got_inflate_init(&zb, NULL, GOT_INFLATE_BUFSIZE, csum);
533 63581804 2018-07-09 stsp 	if (err)
534 63581804 2018-07-09 stsp 		goto done;
535 63581804 2018-07-09 stsp 
536 63581804 2018-07-09 stsp 	*outlen = 0;
537 63581804 2018-07-09 stsp 
538 63581804 2018-07-09 stsp 	do {
539 6fb3a497 2020-03-18 stsp 		err = got_inflate_read(&zb, infile, &avail, NULL);
540 63581804 2018-07-09 stsp 		if (err)
541 5aef3967 2018-07-22 stsp 			goto done;
542 63581804 2018-07-09 stsp 		if (avail > 0) {
543 63581804 2018-07-09 stsp 			size_t n;
544 63581804 2018-07-09 stsp 			n = fwrite(zb.outbuf, avail, 1, outfile);
545 63581804 2018-07-09 stsp 			if (n != 1) {
546 63581804 2018-07-09 stsp 				err = got_ferror(outfile, GOT_ERR_IO);
547 63581804 2018-07-09 stsp 				goto done;
548 63581804 2018-07-09 stsp 			}
549 63581804 2018-07-09 stsp 			*outlen += avail;
550 63581804 2018-07-09 stsp 		}
551 23bc48a9 2019-03-19 stsp 	} while (zb.flags & GOT_INFLATE_F_HAVE_MORE);
552 63581804 2018-07-09 stsp 
553 63581804 2018-07-09 stsp done:
554 63581804 2018-07-09 stsp 	if (err == NULL)
555 63581804 2018-07-09 stsp 		rewind(outfile);
556 63581804 2018-07-09 stsp 	got_inflate_end(&zb);
557 63581804 2018-07-09 stsp 	return err;
558 63581804 2018-07-09 stsp }
559 63581804 2018-07-09 stsp 
560 63581804 2018-07-09 stsp const struct got_error *
561 4788f1ce 2020-03-18 stsp got_inflate_to_file_fd(size_t *outlen, size_t *consumed_total,
562 6ad68bce 2020-03-24 stsp     struct got_inflate_checksum *csum, int infd, FILE *outfile)
563 63581804 2018-07-09 stsp {
564 63581804 2018-07-09 stsp 	const struct got_error *err;
565 4788f1ce 2020-03-18 stsp 	size_t avail, consumed;
566 23bc48a9 2019-03-19 stsp 	struct got_inflate_buf zb;
567 63581804 2018-07-09 stsp 
568 6ad68bce 2020-03-24 stsp 	err = got_inflate_init(&zb, NULL, GOT_INFLATE_BUFSIZE, csum);
569 63581804 2018-07-09 stsp 	if (err)
570 63581804 2018-07-09 stsp 		goto done;
571 63581804 2018-07-09 stsp 
572 63581804 2018-07-09 stsp 	*outlen = 0;
573 4788f1ce 2020-03-18 stsp 	if (consumed_total)
574 4788f1ce 2020-03-18 stsp 		*consumed_total = 0;
575 63581804 2018-07-09 stsp 	do {
576 4788f1ce 2020-03-18 stsp 		err = got_inflate_read_fd(&zb, infd, &avail, &consumed);
577 63581804 2018-07-09 stsp 		if (err)
578 5aef3967 2018-07-22 stsp 			goto done;
579 63581804 2018-07-09 stsp 		if (avail > 0) {
580 63581804 2018-07-09 stsp 			size_t n;
581 63581804 2018-07-09 stsp 			n = fwrite(zb.outbuf, avail, 1, outfile);
582 63581804 2018-07-09 stsp 			if (n != 1) {
583 63581804 2018-07-09 stsp 				err = got_ferror(outfile, GOT_ERR_IO);
584 63581804 2018-07-09 stsp 				goto done;
585 63581804 2018-07-09 stsp 			}
586 63581804 2018-07-09 stsp 			*outlen += avail;
587 4788f1ce 2020-03-18 stsp 			if (consumed_total)
588 4788f1ce 2020-03-18 stsp 				*consumed_total += consumed;
589 63581804 2018-07-09 stsp 		}
590 23bc48a9 2019-03-19 stsp 	} while (zb.flags & GOT_INFLATE_F_HAVE_MORE);
591 63581804 2018-07-09 stsp 
592 63581804 2018-07-09 stsp done:
593 63581804 2018-07-09 stsp 	if (err == NULL)
594 63581804 2018-07-09 stsp 		rewind(outfile);
595 63581804 2018-07-09 stsp 	got_inflate_end(&zb);
596 63581804 2018-07-09 stsp 	return err;
597 63581804 2018-07-09 stsp }
598 63581804 2018-07-09 stsp 
599 63581804 2018-07-09 stsp const struct got_error *
600 4788f1ce 2020-03-18 stsp got_inflate_to_file_mmap(size_t *outlen, size_t *consumed_total,
601 6ad68bce 2020-03-24 stsp     struct got_inflate_checksum *csum, uint8_t *map, size_t offset,
602 6ad68bce 2020-03-24 stsp     size_t len, FILE *outfile)
603 63581804 2018-07-09 stsp {
604 63581804 2018-07-09 stsp 	const struct got_error *err;
605 4788f1ce 2020-03-18 stsp 	size_t avail, consumed;
606 23bc48a9 2019-03-19 stsp 	struct got_inflate_buf zb;
607 63581804 2018-07-09 stsp 
608 6ad68bce 2020-03-24 stsp 	err = got_inflate_init(&zb, NULL, GOT_INFLATE_BUFSIZE, csum);
609 63581804 2018-07-09 stsp 	if (err)
610 63581804 2018-07-09 stsp 		goto done;
611 63581804 2018-07-09 stsp 
612 63581804 2018-07-09 stsp 	*outlen = 0;
613 4788f1ce 2020-03-18 stsp 	if (consumed_total)
614 4788f1ce 2020-03-18 stsp 		*consumed_total = 0;
615 63581804 2018-07-09 stsp 	do {
616 63581804 2018-07-09 stsp 		err = got_inflate_read_mmap(&zb, map, offset, len, &avail,
617 63581804 2018-07-09 stsp 		    &consumed);
618 63581804 2018-07-09 stsp 		if (err)
619 5aef3967 2018-07-22 stsp 			goto done;
620 63581804 2018-07-09 stsp 		offset += consumed;
621 4788f1ce 2020-03-18 stsp 		if (consumed_total)
622 4788f1ce 2020-03-18 stsp 			*consumed_total += consumed;
623 63581804 2018-07-09 stsp 		len -= consumed;
624 63581804 2018-07-09 stsp 		if (avail > 0) {
625 63581804 2018-07-09 stsp 			size_t n;
626 63581804 2018-07-09 stsp 			n = fwrite(zb.outbuf, avail, 1, outfile);
627 63581804 2018-07-09 stsp 			if (n != 1) {
628 63581804 2018-07-09 stsp 				err = got_ferror(outfile, GOT_ERR_IO);
629 63581804 2018-07-09 stsp 				goto done;
630 63581804 2018-07-09 stsp 			}
631 63581804 2018-07-09 stsp 			*outlen += avail;
632 63581804 2018-07-09 stsp 		}
633 23bc48a9 2019-03-19 stsp 	} while (zb.flags & GOT_INFLATE_F_HAVE_MORE);
634 63581804 2018-07-09 stsp 
635 63581804 2018-07-09 stsp done:
636 63581804 2018-07-09 stsp 	if (err == NULL)
637 63581804 2018-07-09 stsp 		rewind(outfile);
638 63581804 2018-07-09 stsp 	got_inflate_end(&zb);
639 63581804 2018-07-09 stsp 	return err;
640 63581804 2018-07-09 stsp }