1 c48c4a9c 2018-03-11 stsp /*
  2 c48c4a9c 2018-03-11 stsp  * Copyright (c) 2018 Stefan Sperling <stsp@openbsd.org>
  3 c48c4a9c 2018-03-11 stsp  *
  4 c48c4a9c 2018-03-11 stsp  * Permission to use, copy, modify, and distribute this software for any
  5 c48c4a9c 2018-03-11 stsp  * purpose with or without fee is hereby granted, provided that the above
  6 c48c4a9c 2018-03-11 stsp  * copyright notice and this permission notice appear in all copies.
  7 c48c4a9c 2018-03-11 stsp  *
  8 c48c4a9c 2018-03-11 stsp  * THE SOFTWARE IS PROVIDED "AS IS" AND THE AUTHOR DISCLAIMS ALL WARRANTIES
  9 c48c4a9c 2018-03-11 stsp  * WITH REGARD TO THIS SOFTWARE INCLUDING ALL IMPLIED WARRANTIES OF
 10 c48c4a9c 2018-03-11 stsp  * MERCHANTABILITY AND FITNESS. IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR
 11 c48c4a9c 2018-03-11 stsp  * ANY SPECIAL, DIRECT, INDIRECT, OR CONSEQUENTIAL DAMAGES OR ANY DAMAGES
 12 c48c4a9c 2018-03-11 stsp  * WHATSOEVER RESULTING FROM LOSS OF USE, DATA OR PROFITS, WHETHER IN AN
 13 c48c4a9c 2018-03-11 stsp  * ACTION OF CONTRACT, NEGLIGENCE OR OTHER TORTIOUS ACTION, ARISING OUT OF
 14 c48c4a9c 2018-03-11 stsp  * OR IN CONNECTION WITH THE USE OR PERFORMANCE OF THIS SOFTWARE.
 15 c48c4a9c 2018-03-11 stsp  */
 16 c48c4a9c 2018-03-11 stsp 
 17 c48c4a9c 2018-03-11 stsp #include <sys/queue.h>
 18 c48c4a9c 2018-03-11 stsp #include <sys/stat.h>
 19 c48c4a9c 2018-03-11 stsp 
 20 c48c4a9c 2018-03-11 stsp #include <stdio.h>
 21 c48c4a9c 2018-03-11 stsp #include <stdlib.h>
 22 c48c4a9c 2018-03-11 stsp #include <string.h>
 23 c48c4a9c 2018-03-11 stsp #include <sha1.h>
 24 c34b20a2 2018-03-12 stsp #include <endian.h>
 25 c48c4a9c 2018-03-11 stsp 
 26 c48c4a9c 2018-03-11 stsp #include "got_error.h"
 27 c48c4a9c 2018-03-11 stsp 
 28 32cb896c 2018-03-11 stsp #include "got_fileindex_lib.h"
 29 c48c4a9c 2018-03-11 stsp 
 30 c48c4a9c 2018-03-11 stsp const struct got_error *
 31 c34b20a2 2018-03-12 stsp got_fileindex_entry_open(struct got_fileindex_entry **entry,
 32 c34b20a2 2018-03-12 stsp     const char *ondisk_path, const char *relpath, uint8_t *blob_sha1)
 33 c48c4a9c 2018-03-11 stsp {
 34 c48c4a9c 2018-03-11 stsp 	struct stat sb;
 35 c48c4a9c 2018-03-11 stsp 	size_t len;
 36 c48c4a9c 2018-03-11 stsp 
 37 c34b20a2 2018-03-12 stsp 	if (lstat(ondisk_path, &sb) != 0)
 38 c48c4a9c 2018-03-11 stsp 		return got_error_from_errno();
 39 c48c4a9c 2018-03-11 stsp 
 40 c48c4a9c 2018-03-11 stsp 	*entry = calloc(1, sizeof(**entry));
 41 c48c4a9c 2018-03-11 stsp 	if (*entry == NULL)
 42 c48c4a9c 2018-03-11 stsp 		return got_error(GOT_ERR_NO_MEM);
 43 c48c4a9c 2018-03-11 stsp 
 44 c34b20a2 2018-03-12 stsp 	(*entry)->path = strdup(relpath);
 45 c48c4a9c 2018-03-11 stsp 	if ((*entry)->path == NULL) {
 46 c48c4a9c 2018-03-11 stsp 		free(*entry);
 47 c48c4a9c 2018-03-11 stsp 		*entry = NULL;
 48 c48c4a9c 2018-03-11 stsp 		return got_error(GOT_ERR_NO_MEM);
 49 c48c4a9c 2018-03-11 stsp 	}
 50 c48c4a9c 2018-03-11 stsp 	
 51 c48c4a9c 2018-03-11 stsp 	(*entry)->ctime_sec = sb.st_ctime;
 52 c48c4a9c 2018-03-11 stsp 	(*entry)->ctime_nsec = sb.st_ctimensec;
 53 c48c4a9c 2018-03-11 stsp 	(*entry)->mtime_sec = sb.st_mtime;
 54 c48c4a9c 2018-03-11 stsp 	(*entry)->mtime_nsec = sb.st_mtimensec;
 55 c48c4a9c 2018-03-11 stsp 	(*entry)->uid = sb.st_uid;
 56 c48c4a9c 2018-03-11 stsp 	(*entry)->gid = sb.st_gid;
 57 c48c4a9c 2018-03-11 stsp 	(*entry)->size = (sb.st_size & 0xffffffff);
 58 c48c4a9c 2018-03-11 stsp 	if (sb.st_mode & S_IFLNK)
 59 c48c4a9c 2018-03-11 stsp 		(*entry)->mode = GOT_INDEX_ENTRY_MODE_SYMLINK;
 60 c48c4a9c 2018-03-11 stsp 	else
 61 c48c4a9c 2018-03-11 stsp 		(*entry)->mode = GOT_INDEX_ENTRY_MODE_REGULAR_FILE;
 62 c48c4a9c 2018-03-11 stsp 	(*entry)->mode |= ((sb.st_mode & (S_IRWXU | S_IRWXG | S_IRWXO)) <<
 63 c48c4a9c 2018-03-11 stsp 	    GOT_INDEX_ENTRY_MODE_PERMS_SHIFT);
 64 c48c4a9c 2018-03-11 stsp 	memcpy((*entry)->blob_sha1, blob_sha1, SHA1_DIGEST_LENGTH);
 65 c34b20a2 2018-03-12 stsp 	len = strlen(relpath);
 66 c48c4a9c 2018-03-11 stsp 	if (len > GOT_INDEX_ENTRY_F_PATH_LEN)
 67 c48c4a9c 2018-03-11 stsp 		len = GOT_INDEX_ENTRY_F_PATH_LEN;
 68 c48c4a9c 2018-03-11 stsp 	(*entry)->flags |= len;
 69 c48c4a9c 2018-03-11 stsp 
 70 c48c4a9c 2018-03-11 stsp 	return NULL;
 71 c48c4a9c 2018-03-11 stsp }
 72 c48c4a9c 2018-03-11 stsp 
 73 c48c4a9c 2018-03-11 stsp void
 74 c48c4a9c 2018-03-11 stsp got_fileindex_entry_close(struct got_fileindex_entry *entry)
 75 c48c4a9c 2018-03-11 stsp {
 76 c48c4a9c 2018-03-11 stsp 	free(entry->path);
 77 c48c4a9c 2018-03-11 stsp 	free(entry);
 78 c48c4a9c 2018-03-11 stsp }
 79 9d31a1d8 2018-03-11 stsp 
 80 9d31a1d8 2018-03-11 stsp const struct got_error *
 81 9d31a1d8 2018-03-11 stsp got_fileindex_entry_add(struct got_fileindex *fileindex,
 82 9d31a1d8 2018-03-11 stsp     struct got_fileindex_entry *entry)
 83 9d31a1d8 2018-03-11 stsp {
 84 9d31a1d8 2018-03-11 stsp 	/* TODO keep entries sorted by name */
 85 9d31a1d8 2018-03-11 stsp 	TAILQ_INSERT_TAIL(&fileindex->entries, entry, entry);
 86 9d31a1d8 2018-03-11 stsp 	fileindex->nentries++;
 87 9d31a1d8 2018-03-11 stsp 	return NULL;
 88 9d31a1d8 2018-03-11 stsp }
 89 9d31a1d8 2018-03-11 stsp 
 90 9d31a1d8 2018-03-11 stsp struct got_fileindex *
 91 9d31a1d8 2018-03-11 stsp got_fileindex_open(void)
 92 9d31a1d8 2018-03-11 stsp {
 93 9d31a1d8 2018-03-11 stsp 	struct got_fileindex *fileindex;
 94 9d31a1d8 2018-03-11 stsp 
 95 9d31a1d8 2018-03-11 stsp 	fileindex = calloc(1, sizeof(*fileindex));
 96 9d31a1d8 2018-03-11 stsp 	if (fileindex)
 97 9d31a1d8 2018-03-11 stsp 		TAILQ_INIT(&fileindex->entries);
 98 9d31a1d8 2018-03-11 stsp 	return fileindex;
 99 9d31a1d8 2018-03-11 stsp }
100 9d31a1d8 2018-03-11 stsp 
101 9d31a1d8 2018-03-11 stsp void
102 9d31a1d8 2018-03-11 stsp got_fileindex_close(struct got_fileindex *fileindex)
103 9d31a1d8 2018-03-11 stsp {
104 9d31a1d8 2018-03-11 stsp 	struct got_fileindex_entry *entry;
105 9d31a1d8 2018-03-11 stsp 
106 9d31a1d8 2018-03-11 stsp 	while (!TAILQ_EMPTY(&fileindex->entries)) {
107 9d31a1d8 2018-03-11 stsp 		entry = TAILQ_FIRST(&fileindex->entries);
108 9d31a1d8 2018-03-11 stsp 		TAILQ_REMOVE(&fileindex->entries, entry, entry);
109 9d31a1d8 2018-03-11 stsp 		got_fileindex_entry_close(entry);
110 9d31a1d8 2018-03-11 stsp 		fileindex->nentries--;
111 9d31a1d8 2018-03-11 stsp 	}
112 9d31a1d8 2018-03-11 stsp 	free(fileindex);
113 9d31a1d8 2018-03-11 stsp }
114 9d31a1d8 2018-03-11 stsp 
115 c34b20a2 2018-03-12 stsp static const struct got_error *
116 c34b20a2 2018-03-12 stsp write_fileindex_val64(SHA1_CTX *ctx, uint64_t val, FILE *outfile)
117 c34b20a2 2018-03-12 stsp {
118 c34b20a2 2018-03-12 stsp 	uint8_t buf[sizeof(uint64_t)];
119 c34b20a2 2018-03-12 stsp 	size_t n;
120 c34b20a2 2018-03-12 stsp 
121 c34b20a2 2018-03-12 stsp 	val = htobe64(val);
122 c34b20a2 2018-03-12 stsp 	memcpy(buf, &val, sizeof(val));
123 c34b20a2 2018-03-12 stsp 	SHA1Update(ctx, buf, sizeof(val));
124 c34b20a2 2018-03-12 stsp 	n = fwrite(buf, 1, sizeof(val), outfile);
125 c34b20a2 2018-03-12 stsp 	if (n != sizeof(val))
126 c34b20a2 2018-03-12 stsp 		return got_ferror(outfile, GOT_ERR_IO);
127 c34b20a2 2018-03-12 stsp 	return NULL;
128 c34b20a2 2018-03-12 stsp }
129 c34b20a2 2018-03-12 stsp 
130 c34b20a2 2018-03-12 stsp static const struct got_error *
131 c34b20a2 2018-03-12 stsp write_fileindex_val32(SHA1_CTX *ctx, uint32_t val, FILE *outfile)
132 c34b20a2 2018-03-12 stsp {
133 c34b20a2 2018-03-12 stsp 	uint8_t buf[sizeof(uint32_t)];
134 c34b20a2 2018-03-12 stsp 	size_t n;
135 c34b20a2 2018-03-12 stsp 
136 c34b20a2 2018-03-12 stsp 	val = htobe32(val);
137 c34b20a2 2018-03-12 stsp 	memcpy(buf, &val, sizeof(val));
138 c34b20a2 2018-03-12 stsp 	SHA1Update(ctx, buf, sizeof(val));
139 c34b20a2 2018-03-12 stsp 	n = fwrite(buf, 1, sizeof(val), outfile);
140 c34b20a2 2018-03-12 stsp 	if (n != sizeof(val))
141 c34b20a2 2018-03-12 stsp 		return got_ferror(outfile, GOT_ERR_IO);
142 c34b20a2 2018-03-12 stsp 	return NULL;
143 c34b20a2 2018-03-12 stsp }
144 c34b20a2 2018-03-12 stsp 
145 c34b20a2 2018-03-12 stsp static const struct got_error *
146 c34b20a2 2018-03-12 stsp write_fileindex_val16(SHA1_CTX *ctx, uint16_t val, FILE *outfile)
147 c34b20a2 2018-03-12 stsp {
148 c34b20a2 2018-03-12 stsp 	uint8_t buf[sizeof(uint16_t)];
149 c34b20a2 2018-03-12 stsp 	size_t n;
150 c34b20a2 2018-03-12 stsp 
151 c34b20a2 2018-03-12 stsp 	val = htobe16(val);
152 c34b20a2 2018-03-12 stsp 	memcpy(buf, &val, sizeof(val));
153 c34b20a2 2018-03-12 stsp 	SHA1Update(ctx, buf, sizeof(val));
154 c34b20a2 2018-03-12 stsp 	n = fwrite(buf, 1, sizeof(val), outfile);
155 c34b20a2 2018-03-12 stsp 	if (n != sizeof(val))
156 c34b20a2 2018-03-12 stsp 		return got_ferror(outfile, GOT_ERR_IO);
157 c34b20a2 2018-03-12 stsp 	return NULL;
158 c34b20a2 2018-03-12 stsp }
159 c34b20a2 2018-03-12 stsp 
160 c34b20a2 2018-03-12 stsp static const struct got_error *
161 c34b20a2 2018-03-12 stsp write_fileindex_path(SHA1_CTX *ctx, const char *path, FILE *outfile)
162 c34b20a2 2018-03-12 stsp {
163 c34b20a2 2018-03-12 stsp 	size_t n, len, pad;
164 c34b20a2 2018-03-12 stsp 	static const uint8_t zero[8] = { 0 };
165 c34b20a2 2018-03-12 stsp 
166 c34b20a2 2018-03-12 stsp 	len = strlen(path);
167 c34b20a2 2018-03-12 stsp 	pad = (len % 8);
168 c34b20a2 2018-03-12 stsp 
169 c34b20a2 2018-03-12 stsp 	SHA1Update(ctx, path, len);
170 c34b20a2 2018-03-12 stsp 	n = fwrite(path, 1, len, outfile);
171 c34b20a2 2018-03-12 stsp 	if (n != len)
172 c34b20a2 2018-03-12 stsp 		return got_ferror(outfile, GOT_ERR_IO);
173 c34b20a2 2018-03-12 stsp 	if (pad == 0)
174 c34b20a2 2018-03-12 stsp 		return NULL;
175 c34b20a2 2018-03-12 stsp 	SHA1Update(ctx, zero, pad);
176 c34b20a2 2018-03-12 stsp 	n = fwrite(zero, 1, pad, outfile);
177 c34b20a2 2018-03-12 stsp 	if (n != pad)
178 c34b20a2 2018-03-12 stsp 		return got_ferror(outfile, GOT_ERR_IO);
179 c34b20a2 2018-03-12 stsp 	return NULL;
180 c34b20a2 2018-03-12 stsp }
181 c34b20a2 2018-03-12 stsp 
182 c34b20a2 2018-03-12 stsp static const struct got_error *
183 c34b20a2 2018-03-12 stsp write_fileindex_entry(SHA1_CTX *ctx, struct got_fileindex_entry *entry,
184 c34b20a2 2018-03-12 stsp     FILE *outfile)
185 c34b20a2 2018-03-12 stsp {
186 c34b20a2 2018-03-12 stsp 	const struct got_error *err;
187 23b19d00 2018-03-12 stsp 	size_t n;
188 c34b20a2 2018-03-12 stsp 
189 c34b20a2 2018-03-12 stsp 	err = write_fileindex_val64(ctx, entry->ctime_sec, outfile);
190 c34b20a2 2018-03-12 stsp 	if (err)
191 c34b20a2 2018-03-12 stsp 		return err;
192 c34b20a2 2018-03-12 stsp 	err = write_fileindex_val64(ctx, entry->ctime_nsec, outfile);
193 c34b20a2 2018-03-12 stsp 	if (err)
194 c34b20a2 2018-03-12 stsp 		return err;
195 c34b20a2 2018-03-12 stsp 	err = write_fileindex_val64(ctx, entry->mtime_sec, outfile);
196 c34b20a2 2018-03-12 stsp 	if (err)
197 c34b20a2 2018-03-12 stsp 		return err;
198 c34b20a2 2018-03-12 stsp 	err = write_fileindex_val64(ctx, entry->mtime_nsec, outfile);
199 c34b20a2 2018-03-12 stsp 	if (err)
200 c34b20a2 2018-03-12 stsp 		return err;
201 c34b20a2 2018-03-12 stsp 
202 c34b20a2 2018-03-12 stsp 	err = write_fileindex_val32(ctx, entry->uid, outfile);
203 c34b20a2 2018-03-12 stsp 	if (err)
204 c34b20a2 2018-03-12 stsp 		return err;
205 c34b20a2 2018-03-12 stsp 	err = write_fileindex_val32(ctx, entry->gid, outfile);
206 c34b20a2 2018-03-12 stsp 	if (err)
207 c34b20a2 2018-03-12 stsp 		return err;
208 c34b20a2 2018-03-12 stsp 	err = write_fileindex_val32(ctx, entry->size, outfile);
209 c34b20a2 2018-03-12 stsp 	if (err)
210 c34b20a2 2018-03-12 stsp 		return err;
211 c34b20a2 2018-03-12 stsp 
212 c34b20a2 2018-03-12 stsp 	err = write_fileindex_val16(ctx, entry->mode, outfile);
213 c34b20a2 2018-03-12 stsp 	if (err)
214 c34b20a2 2018-03-12 stsp 		return err;
215 c34b20a2 2018-03-12 stsp 
216 c34b20a2 2018-03-12 stsp 	SHA1Update(ctx, entry->blob_sha1, SHA1_DIGEST_LENGTH);
217 c34b20a2 2018-03-12 stsp 	n = fwrite(entry->blob_sha1, 1, SHA1_DIGEST_LENGTH, outfile);
218 c34b20a2 2018-03-12 stsp 	if (n != SHA1_DIGEST_LENGTH)
219 c34b20a2 2018-03-12 stsp 		return got_ferror(outfile, GOT_ERR_IO);
220 c34b20a2 2018-03-12 stsp 
221 c34b20a2 2018-03-12 stsp 	err = write_fileindex_val32(ctx, entry->flags, outfile);
222 c34b20a2 2018-03-12 stsp 	if (err)
223 c34b20a2 2018-03-12 stsp 		return err;
224 c34b20a2 2018-03-12 stsp 
225 c34b20a2 2018-03-12 stsp 	err = write_fileindex_path(ctx, entry->path, outfile);
226 c34b20a2 2018-03-12 stsp 	return err;
227 c34b20a2 2018-03-12 stsp }
228 c34b20a2 2018-03-12 stsp 
229 9d31a1d8 2018-03-11 stsp const struct got_error *
230 9d31a1d8 2018-03-11 stsp got_fileindex_write(struct got_fileindex *fileindex, FILE *outfile)
231 9d31a1d8 2018-03-11 stsp {
232 c34b20a2 2018-03-12 stsp 	struct got_fileindex_hdr hdr;
233 c34b20a2 2018-03-12 stsp 	struct got_fileindex_entry *entry;
234 c34b20a2 2018-03-12 stsp 	SHA1_CTX ctx;
235 c34b20a2 2018-03-12 stsp 	uint8_t sha1[SHA1_DIGEST_LENGTH];
236 c34b20a2 2018-03-12 stsp 	size_t n;
237 c34b20a2 2018-03-12 stsp 	const size_t len = sizeof(hdr.signature) + sizeof(hdr.version) +
238 c34b20a2 2018-03-12 stsp 	    sizeof(hdr.nentries);
239 c34b20a2 2018-03-12 stsp 	uint8_t buf[len];
240 c34b20a2 2018-03-12 stsp 
241 c34b20a2 2018-03-12 stsp 	SHA1Init(&ctx);
242 c34b20a2 2018-03-12 stsp 
243 c34b20a2 2018-03-12 stsp 	hdr.signature = htobe32(GOT_FILE_INDEX_SIGNATURE);
244 c34b20a2 2018-03-12 stsp 	hdr.version = htobe32(GOT_FILE_INDEX_VERSION);
245 c34b20a2 2018-03-12 stsp 	hdr.nentries = htobe32(fileindex->nentries);
246 c34b20a2 2018-03-12 stsp 
247 c34b20a2 2018-03-12 stsp 	memcpy(buf, &hdr, len);
248 c34b20a2 2018-03-12 stsp 	SHA1Update(&ctx, buf, len);
249 c34b20a2 2018-03-12 stsp 	n = fwrite(buf, 1, len, outfile);
250 c34b20a2 2018-03-12 stsp 	if (n != len)
251 c34b20a2 2018-03-12 stsp 		return got_ferror(outfile, GOT_ERR_IO);
252 c34b20a2 2018-03-12 stsp 
253 c34b20a2 2018-03-12 stsp 	TAILQ_FOREACH(entry, &fileindex->entries, entry) {
254 c34b20a2 2018-03-12 stsp 		const struct got_error *err;
255 c34b20a2 2018-03-12 stsp 		err = write_fileindex_entry(&ctx, entry, outfile);
256 c34b20a2 2018-03-12 stsp 		if (err)
257 c34b20a2 2018-03-12 stsp 			return err;
258 c34b20a2 2018-03-12 stsp 	}
259 c34b20a2 2018-03-12 stsp 
260 c34b20a2 2018-03-12 stsp 	SHA1Final(sha1, &ctx);
261 c34b20a2 2018-03-12 stsp 	n = fwrite(sha1, 1, sizeof(sha1), outfile);
262 c34b20a2 2018-03-12 stsp 	if (n != sizeof(sha1))
263 c34b20a2 2018-03-12 stsp 		return got_ferror(outfile, GOT_ERR_IO);
264 c34b20a2 2018-03-12 stsp 
265 9d31a1d8 2018-03-11 stsp 	return NULL;
266 9d31a1d8 2018-03-11 stsp }