Write object headers with stored file extents
[yaffs2.git] / yaffs_guts.h
1 /*
2  * YAFFS: Yet another Flash File System . A NAND-flash specific file system.
3  *
4  * Copyright (C) 2002-2011 Aleph One Ltd.
5  *   for Toby Churchill Ltd and Brightstar Engineering
6  *
7  * Created by Charles Manning <charles@aleph1.co.uk>
8  *
9  * This program is free software; you can redistribute it and/or modify
10  * it under the terms of the GNU Lesser General Public License version 2.1 as
11  * published by the Free Software Foundation.
12  *
13  * Note: Only YAFFS headers are LGPL, YAFFS C code is covered by GPL.
14  */
15
16 #ifndef __YAFFS_GUTS_H__
17 #define __YAFFS_GUTS_H__
18
19 #include "yportenv.h"
20
21 #define YAFFS_OK        1
22 #define YAFFS_FAIL  0
23
24 /* Give us a  Y=0x59,
25  * Give us an A=0x41,
26  * Give us an FF=0xff
27  * Give us an S=0x53
28  * And what have we got...
29  */
30 #define YAFFS_MAGIC                     0x5941ff53
31
32 /*
33  * Tnodes form a tree with the tnodes in "levels"
34  * Levels greater than 0 hold 8 slots which point to other tnodes.
35  * Those at level 0 hold 16 slots which point to chunks in NAND.
36  *
37  * A maximum level of 8 thust supports files of size up to:
38  *
39  * 2^(3*MAX_LEVEL+4)
40  *
41  * Thus a max level of 8 supports files with up to 2^^28 chunks which gives
42  * a maximum file size of around 512Gbytees with 2k chunks.
43  */
44 #define YAFFS_NTNODES_LEVEL0            16
45 #define YAFFS_TNODES_LEVEL0_BITS        4
46 #define YAFFS_TNODES_LEVEL0_MASK        0xf
47
48 #define YAFFS_NTNODES_INTERNAL          (YAFFS_NTNODES_LEVEL0 / 2)
49 #define YAFFS_TNODES_INTERNAL_BITS      (YAFFS_TNODES_LEVEL0_BITS - 1)
50 #define YAFFS_TNODES_INTERNAL_MASK      0x7
51 #define YAFFS_TNODES_MAX_LEVEL          8
52 #define YAFFS_TNODES_MAX_BITS           (YAFFS_TNODES_LEVEL0_BITS + \
53                                         YAFFS_TNODES_INTERNAL_BITS * \
54                                         YAFFS_TNODES_MAX_LEVEL)
55 #define YAFFS_MAX_CHUNK_ID              ((1 << YAFFS_TNODES_MAX_BITS) - 1)
56
57 #define YAFFS_MAX_FILE_SIZE_32          0x7fffffff
58
59 /* Constants for YAFFS1 mode */
60 #define YAFFS_BYTES_PER_SPARE           16
61 #define YAFFS_BYTES_PER_CHUNK           512
62 #define YAFFS_CHUNK_SIZE_SHIFT          9
63 #define YAFFS_CHUNKS_PER_BLOCK          32
64 #define YAFFS_BYTES_PER_BLOCK   (YAFFS_CHUNKS_PER_BLOCK*YAFFS_BYTES_PER_CHUNK)
65
66 #define YAFFS_MIN_YAFFS2_CHUNK_SIZE     1024
67 #define YAFFS_MIN_YAFFS2_SPARE_SIZE     32
68
69
70
71 #define YAFFS_ALLOCATION_NOBJECTS       100
72 #define YAFFS_ALLOCATION_NTNODES        100
73 #define YAFFS_ALLOCATION_NLINKS         100
74
75 #define YAFFS_NOBJECT_BUCKETS           256
76
77 #define YAFFS_OBJECT_SPACE              0x40000
78 #define YAFFS_MAX_OBJECT_ID             (YAFFS_OBJECT_SPACE - 1)
79
80 /* Binary data version stamps */
81 #define YAFFS_SUMMARY_VERSION           1
82 #define YAFFS_CHECKPOINT_VERSION        7
83
84 #ifdef CONFIG_YAFFS_UNICODE
85 #define YAFFS_MAX_NAME_LENGTH           127
86 #define YAFFS_MAX_ALIAS_LENGTH          79
87 #else
88 #define YAFFS_MAX_NAME_LENGTH           255
89 #define YAFFS_MAX_ALIAS_LENGTH          159
90 #endif
91
92 #define YAFFS_SHORT_NAME_LENGTH         15
93
94 /* Some special object ids for pseudo objects */
95 #define YAFFS_OBJECTID_ROOT             1
96 #define YAFFS_OBJECTID_LOSTNFOUND       2
97 #define YAFFS_OBJECTID_UNLINKED         3
98 #define YAFFS_OBJECTID_DELETED          4
99
100 /* Fake object Id for summary data */
101 #define YAFFS_OBJECTID_SUMMARY          0x10
102
103 /* Pseudo object ids for checkpointing */
104 #define YAFFS_OBJECTID_CHECKPOINT_DATA  0x20
105 #define YAFFS_SEQUENCE_CHECKPOINT_DATA  0x21
106
107 #define YAFFS_MAX_SHORT_OP_CACHES       20
108
109 #define YAFFS_N_TEMP_BUFFERS            6
110
111 /* We limit the number attempts at sucessfully saving a chunk of data.
112  * Small-page devices have 32 pages per block; large-page devices have 64.
113  * Default to something in the order of 5 to 10 blocks worth of chunks.
114  */
115 #define YAFFS_WR_ATTEMPTS               (5*64)
116
117 /* Sequence numbers are used in YAFFS2 to determine block allocation order.
118  * The range is limited slightly to help distinguish bad numbers from good.
119  * This also allows us to perhaps in the future use special numbers for
120  * special purposes.
121  * EFFFFF00 allows the allocation of 8 blocks/second (~1Mbytes) for 15 years,
122  * and is a larger number than the lifetime of a 2GB device.
123  */
124 #define YAFFS_LOWEST_SEQUENCE_NUMBER    0x00001000
125 #define YAFFS_HIGHEST_SEQUENCE_NUMBER   0xefffff00
126
127 /* Special sequence number for bad block that failed to be marked bad */
128 #define YAFFS_SEQUENCE_BAD_BLOCK        0xffff0000
129
130 /* ChunkCache is used for short read/write operations.*/
131 struct yaffs_cache {
132         struct yaffs_obj *object;
133         int chunk_id;
134         int last_use;
135         int dirty;
136         int n_bytes;            /* Only valid if the cache is dirty */
137         int locked;             /* Can't push out or flush while locked. */
138         u8 *data;
139 };
140
141 /* yaffs1 tags structures in RAM
142  * NB This uses bitfield. Bitfields should not straddle a u32 boundary
143  * otherwise the structure size will get blown out.
144  */
145
146 struct yaffs_tags {
147         u32 chunk_id:20;
148         u32 serial_number:2;
149         u32 n_bytes_lsb:10;
150         u32 obj_id:18;
151         u32 ecc:12;
152         u32 n_bytes_msb:2;
153 };
154
155 union yaffs_tags_union {
156         struct yaffs_tags as_tags;
157         u8 as_bytes[8];
158 };
159
160
161 /* Stuff used for extended tags in YAFFS2 */
162
163 enum yaffs_ecc_result {
164         YAFFS_ECC_RESULT_UNKNOWN,
165         YAFFS_ECC_RESULT_NO_ERROR,
166         YAFFS_ECC_RESULT_FIXED,
167         YAFFS_ECC_RESULT_UNFIXED
168 };
169
170 /*
171  * Object type enum:
172  * When this is stored in flash we store it as a u32 instead
173  * to prevent any alignment change issues as compiler variants change.
174  */
175
176 enum yaffs_obj_type {
177         YAFFS_OBJECT_TYPE_UNKNOWN,
178         YAFFS_OBJECT_TYPE_FILE,
179         YAFFS_OBJECT_TYPE_SYMLINK,
180         YAFFS_OBJECT_TYPE_DIRECTORY,
181         YAFFS_OBJECT_TYPE_HARDLINK,
182         YAFFS_OBJECT_TYPE_SPECIAL
183 };
184
185 #define YAFFS_OBJECT_TYPE_MAX YAFFS_OBJECT_TYPE_SPECIAL
186
187 struct yaffs_ext_tags {
188         unsigned chunk_used;    /*  Status of the chunk: used or unused */
189         unsigned obj_id;        /* If 0 this is not used */
190         unsigned chunk_id;      /* If 0 this is a header, else a data chunk */
191         unsigned n_bytes;       /* Only valid for data chunks */
192
193         /* The following stuff only has meaning when we read */
194         enum yaffs_ecc_result ecc_result;
195         unsigned block_bad;
196
197         /* YAFFS 1 stuff */
198         unsigned is_deleted;    /* The chunk is marked deleted */
199         unsigned serial_number; /* Yaffs1 2-bit serial number */
200
201         /* YAFFS2 stuff */
202         unsigned seq_number;    /* The sequence number of this block */
203
204         /* Extra info if this is an object header (YAFFS2 only) */
205
206         unsigned extra_available;       /* Extra info available if not zero */
207         unsigned extra_parent_id;       /* The parent object */
208         unsigned extra_is_shrink;       /* Is it a shrink header? */
209         unsigned extra_shadows; /* Does this shadow another object? */
210
211         enum yaffs_obj_type extra_obj_type;     /* What object type? */
212
213         loff_t extra_file_size;         /* Length if it is a file */
214         unsigned extra_equiv_id;        /* Equivalent object for a hard link */
215 };
216
217 /* Spare structure for YAFFS1 */
218 struct yaffs_spare {
219         u8 tb0;
220         u8 tb1;
221         u8 tb2;
222         u8 tb3;
223         u8 page_status;         /* set to 0 to delete the chunk */
224         u8 block_status;
225         u8 tb4;
226         u8 tb5;
227         u8 ecc1[3];
228         u8 tb6;
229         u8 tb7;
230         u8 ecc2[3];
231 };
232
233 /*Special structure for passing through to mtd */
234 struct yaffs_nand_spare {
235         struct yaffs_spare spare;
236         int eccres1;
237         int eccres2;
238 };
239
240 /* Block data in RAM */
241
242 enum yaffs_block_state {
243         YAFFS_BLOCK_STATE_UNKNOWN = 0,
244
245         YAFFS_BLOCK_STATE_SCANNING,
246         /* Being scanned */
247
248         YAFFS_BLOCK_STATE_NEEDS_SCAN,
249         /* The block might have something on it (ie it is allocating or full,
250          * perhaps empty) but it needs to be scanned to determine its true
251          * state.
252          * This state is only valid during scanning.
253          * NB We tolerate empty because the pre-scanner might be incapable of
254          * deciding
255          * However, if this state is returned on a YAFFS2 device,
256          * then we expect a sequence number
257          */
258
259         YAFFS_BLOCK_STATE_EMPTY,
260         /* This block is empty */
261
262         YAFFS_BLOCK_STATE_ALLOCATING,
263         /* This block is partially allocated.
264          * At least one page holds valid data.
265          * This is the one currently being used for page
266          * allocation. Should never be more than one of these.
267          * If a block is only partially allocated at mount it is treated as
268          * full.
269          */
270
271         YAFFS_BLOCK_STATE_FULL,
272         /* All the pages in this block have been allocated.
273          * If a block was only partially allocated when mounted we treat
274          * it as fully allocated.
275          */
276
277         YAFFS_BLOCK_STATE_DIRTY,
278         /* The block was full and now all chunks have been deleted.
279          * Erase me, reuse me.
280          */
281
282         YAFFS_BLOCK_STATE_CHECKPOINT,
283         /* This block is assigned to holding checkpoint data. */
284
285         YAFFS_BLOCK_STATE_COLLECTING,
286         /* This block is being garbage collected */
287
288         YAFFS_BLOCK_STATE_DEAD
289             /* This block has failed and is not in use */
290 };
291
292 #define YAFFS_NUMBER_OF_BLOCK_STATES (YAFFS_BLOCK_STATE_DEAD + 1)
293
294 struct yaffs_block_info {
295
296         s32 soft_del_pages:10;  /* number of soft deleted pages */
297         s32 pages_in_use:10;    /* number of pages in use */
298         u32 block_state:4;      /* One of the above block states. */
299                                 /* NB use unsigned because enum is sometimes
300                                  * an int */
301         u32 needs_retiring:1;   /* Data has failed on this block, */
302                                 /*need to get valid data off and retire*/
303         u32 skip_erased_check:1;/* Skip the erased check on this block */
304         u32 gc_prioritise:1;    /* An ECC check or blank check has failed.
305                                    Block should be prioritised for GC */
306         u32 chunk_error_strikes:3;      /* How many times we've had ecc etc
307                                 failures on this block and tried to reuse it */
308         u32 has_summary:1;      /* The block has a summary */
309
310         u32 has_shrink_hdr:1;   /* This block has at least one shrink header */
311         u32 seq_number;         /* block sequence number for yaffs2 */
312
313 };
314
315 /* -------------------------- Object structure -------------------------------*/
316 /* This is the object structure as stored on NAND */
317
318 struct yaffs_obj_hdr {
319         u32 type;  /* enum yaffs_obj_type  */
320
321         /* Apply to everything  */
322         int parent_obj_id;
323         u16 sum_no_longer_used; /* checksum of name. No longer used */
324         YCHAR name[YAFFS_MAX_NAME_LENGTH + 1];
325
326         /* The following apply to all object types except for hard links */
327         u32 yst_mode;           /* protection */
328
329         u32 yst_uid;
330         u32 yst_gid;
331         u32 yst_atime;
332         u32 yst_mtime;
333         u32 yst_ctime;
334
335         /* File size  applies to files only */
336         u32 file_size_low;
337
338         /* Equivalent object id applies to hard links only. */
339         int equiv_id;
340
341         /* Alias is for symlinks only. */
342         YCHAR alias[YAFFS_MAX_ALIAS_LENGTH + 1];
343
344         u32 yst_rdev;   /* stuff for block and char devices (major/min) */
345
346         u32 win_ctime[2];
347         u32 win_atime[2];
348         u32 win_mtime[2];
349
350         u32 inband_shadowed_obj_id;
351         u32 inband_is_shrink;
352
353         u32 file_size_high;
354         u32 reserved[1];
355         int shadows_obj;        /* This object header shadows the
356                                 specified object if > 0 */
357
358         /* is_shrink applies to object headers written when wemake a hole. */
359         u32 is_shrink;
360
361 };
362
363 /*--------------------------- Tnode -------------------------- */
364
365 struct yaffs_tnode {
366         struct yaffs_tnode *internal[YAFFS_NTNODES_INTERNAL];
367 };
368
369 /*------------------------  Object -----------------------------*/
370 /* An object can be one of:
371  * - a directory (no data, has children links
372  * - a regular file (data.... not prunes :->).
373  * - a symlink [symbolic link] (the alias).
374  * - a hard link
375  */
376
377 /* The file variant has three file sizes:
378  *  - file_size : size of file as written into Yaffs - including data in cache.
379  *  - stored_size - size of file as stored on media.
380  *  - shrink_size - size of file that has been shrunk back to.
381  *
382  * The stored_size and file_size might be different because the data written
383  * into the cache will increase the file_size but the stored_size will only
384  * change when the data is actually stored.
385  *
386  */
387 struct yaffs_file_var {
388         loff_t file_size;
389         loff_t stored_size;
390         loff_t shrink_size;
391         int top_level;
392         struct yaffs_tnode *top;
393 };
394
395 struct yaffs_dir_var {
396         struct list_head children;      /* list of child links */
397         struct list_head dirty; /* Entry for list of dirty directories */
398 };
399
400 struct yaffs_symlink_var {
401         YCHAR *alias;
402 };
403
404 struct yaffs_hardlink_var {
405         struct yaffs_obj *equiv_obj;
406         u32 equiv_id;
407 };
408
409 union yaffs_obj_var {
410         struct yaffs_file_var file_variant;
411         struct yaffs_dir_var dir_variant;
412         struct yaffs_symlink_var symlink_variant;
413         struct yaffs_hardlink_var hardlink_variant;
414 };
415
416 struct yaffs_obj {
417         u8 deleted:1;           /* This should only apply to unlinked files. */
418         u8 soft_del:1;          /* it has also been soft deleted */
419         u8 unlinked:1;          /* An unlinked file.*/
420         u8 fake:1;              /* A fake object has no presence on NAND. */
421         u8 rename_allowed:1;    /* Some objects cannot be renamed. */
422         u8 unlink_allowed:1;
423         u8 dirty:1;             /* the object needs to be written to flash */
424         u8 valid:1;             /* When the file system is being loaded up, this
425                                  * object might be created before the data
426                                  * is available
427                                  * ie. file data chunks encountered before
428                                 * the header.
429                                  */
430         u8 lazy_loaded:1;       /* This object has been lazy loaded and
431                                  * is missing some detail */
432
433         u8 defered_free:1;      /* Object is removed from NAND, but is
434                                  * still in the inode cache.
435                                  * Free of object is defered.
436                                  * until the inode is released.
437                                  */
438         u8 being_created:1;     /* This object is still being created
439                                  * so skip some verification checks. */
440         u8 is_shadowed:1;       /* This object is shadowed on the way
441                                  * to being renamed. */
442
443         u8 xattr_known:1;       /* We know if this has object has xattribs
444                                  * or not. */
445         u8 has_xattr:1;         /* This object has xattribs.
446                                  * Only valid if xattr_known. */
447
448         u8 serial;              /* serial number of chunk in NAND.*/
449         u16 sum;                /* sum of the name to speed searching */
450
451         struct yaffs_dev *my_dev;       /* The device I'm on */
452
453         struct list_head hash_link;     /* list of objects in hash bucket */
454
455         struct list_head hard_links;    /* hard linked object chain*/
456
457         /* directory structure stuff */
458         /* also used for linking up the free list */
459         struct yaffs_obj *parent;
460         struct list_head siblings;
461
462         /* Where's my object header in NAND? */
463         int hdr_chunk;
464
465         int n_data_chunks;      /* Number of data chunks for this file. */
466
467         u32 obj_id;             /* the object id value */
468
469         u32 yst_mode;
470
471         YCHAR short_name[YAFFS_SHORT_NAME_LENGTH + 1];
472
473 #ifdef CONFIG_YAFFS_WINCE
474         u32 win_ctime[2];
475         u32 win_mtime[2];
476         u32 win_atime[2];
477 #else
478         u32 yst_uid;
479         u32 yst_gid;
480         u32 yst_atime;
481         u32 yst_mtime;
482         u32 yst_ctime;
483 #endif
484
485         u32 yst_rdev;
486
487         void *my_inode;
488
489         u32 variant_type; /* enum yaffs_object_type */
490
491         union yaffs_obj_var variant;
492
493 };
494
495 struct yaffs_obj_bucket {
496         struct list_head list;
497         int count;
498 };
499
500 /* yaffs_checkpt_obj holds the definition of an object as dumped
501  * by checkpointing.
502  */
503
504 struct yaffs_checkpt_obj {
505         int struct_type;
506         u32 obj_id;
507         u32 parent_id;
508         int hdr_chunk;
509         u32 variant_type:3; /* enum yaffs_obj_type */
510         u8 deleted:1;
511         u8 soft_del:1;
512         u8 unlinked:1;
513         u8 fake:1;
514         u8 rename_allowed:1;
515         u8 unlink_allowed:1;
516         u8 serial;
517         int n_data_chunks;
518         loff_t size_or_equiv_obj;
519 };
520
521 /*--------------------- Temporary buffers ----------------
522  *
523  * These are chunk-sized working buffers. Each device has a few.
524  */
525
526 struct yaffs_buffer {
527         u8 *buffer;
528         int in_use;
529 };
530
531 /*----------------- Device ---------------------------------*/
532
533 struct yaffs_param {
534         const YCHAR *name;
535
536         /*
537          * Entry parameters set up way early. Yaffs sets up the rest.
538          * The structure should be zeroed out before use so that unused
539          * and default values are zero.
540          */
541
542         int inband_tags;        /* Use unband tags */
543         u32 total_bytes_per_chunk;      /* Should be >= 512, does not need to
544                                          be a power of 2 */
545         int chunks_per_block;   /* does not need to be a power of 2 */
546         int spare_bytes_per_chunk;      /* spare area size */
547         int start_block;        /* Start block we're allowed to use */
548         int end_block;          /* End block we're allowed to use */
549         int n_reserved_blocks;  /* Tuneable so that we can reduce
550                                  * reserved blocks on NOR and RAM. */
551
552         int n_caches;           /* If <= 0, then short op caching is disabled,
553                                  * else the number of short op caches.
554                                  */
555         int cache_bypass_aligned; /* If non-zero then bypass the cache for
556                                    * aligned writes.
557                                    */
558
559         int use_nand_ecc;       /* Flag to decide whether or not to use
560                                  * NAND driver ECC on data (yaffs1) */
561         int tags_9bytes;        /* Use 9 byte tags */
562         int no_tags_ecc;        /* Flag to decide whether or not to do ECC
563                                  * on packed tags (yaffs2) */
564
565         int is_yaffs2;          /* Use yaffs2 mode on this device */
566
567         int empty_lost_n_found; /* Auto-empty lost+found directory on mount */
568
569         int refresh_period;     /* How often to check for a block refresh */
570
571         /* Checkpoint control. Can be set before or after initialisation */
572         u8 skip_checkpt_rd;
573         u8 skip_checkpt_wr;
574
575         int enable_xattr;       /* Enable xattribs */
576
577         int max_objects;        /*
578                                  * Set to limit the number of objects created.
579                                  * 0 = no limit.
580                                 */
581
582         /* The remove_obj_fn function must be supplied by OS flavours that
583          * need it.
584          * yaffs direct uses it to implement the faster readdir.
585          * Linux uses it to protect the directory during unlocking.
586          */
587         void (*remove_obj_fn) (struct yaffs_obj *obj);
588
589         /* Callback to mark the superblock dirty */
590         void (*sb_dirty_fn) (struct yaffs_dev *dev);
591
592         /*  Callback to control garbage collection. */
593         unsigned (*gc_control_fn) (struct yaffs_dev *dev);
594
595         /* Debug control flags. Don't use unless you know what you're doing */
596         int use_header_file_size;       /* Flag to determine if we should use
597                                          * file sizes from the header */
598         int disable_lazy_load;  /* Disable lazy loading on this device */
599         int wide_tnodes_disabled;       /* Set to disable wide tnodes */
600         int disable_soft_del;   /* yaffs 1 only: Set to disable the use of
601                                  * softdeletion. */
602
603         int defered_dir_update; /* Set to defer directory updates */
604
605 #ifdef CONFIG_YAFFS_AUTO_UNICODE
606         int auto_unicode;
607 #endif
608         int always_check_erased;        /* Force chunk erased check always on */
609
610         int disable_summary;
611         int disable_bad_block_marking;
612
613 };
614
615 struct yaffs_driver {
616         int (*drv_write_chunk_fn) (struct yaffs_dev *dev, int nand_chunk,
617                                    const u8 *data, int data_len,
618                                    const u8 *oob, int oob_len);
619         int (*drv_read_chunk_fn) (struct yaffs_dev *dev, int nand_chunk,
620                                    u8 *data, int data_len,
621                                    u8 *oob, int oob_len,
622                                    enum yaffs_ecc_result *ecc_result);
623         int (*drv_erase_fn) (struct yaffs_dev *dev, int block_no);
624         int (*drv_mark_bad_fn) (struct yaffs_dev *dev, int block_no);
625         int (*drv_check_bad_fn) (struct yaffs_dev *dev, int block_no);
626         int (*drv_initialise_fn) (struct yaffs_dev *dev);
627         int (*drv_deinitialise_fn) (struct yaffs_dev *dev);
628 };
629
630 struct yaffs_tags_handler {
631         int (*write_chunk_tags_fn) (struct yaffs_dev *dev,
632                                     int nand_chunk, const u8 *data,
633                                     const struct yaffs_ext_tags *tags);
634         int (*read_chunk_tags_fn) (struct yaffs_dev *dev,
635                                    int nand_chunk, u8 *data,
636                                    struct yaffs_ext_tags *tags);
637
638         int (*query_block_fn) (struct yaffs_dev *dev, int block_no,
639                                enum yaffs_block_state *state,
640                                u32 *seq_number);
641         int (*mark_bad_fn) (struct yaffs_dev *dev, int block_no);
642 };
643
644 struct yaffs_dev {
645         struct yaffs_param param;
646         struct yaffs_driver drv;
647         struct yaffs_tags_handler tagger;
648
649         /* Context storage. Holds extra OS specific data for this device */
650
651         void *os_context;
652         void *driver_context;
653
654         struct list_head dev_list;
655
656         int ll_init;
657         /* Runtime parameters. Set up by YAFFS. */
658         int data_bytes_per_chunk;
659
660         /* Non-wide tnode stuff */
661         u16 chunk_grp_bits;     /* Number of bits that need to be resolved if
662                                  * the tnodes are not wide enough.
663                                  */
664         u16 chunk_grp_size;     /* == 2^^chunk_grp_bits */
665
666         /* Stuff to support wide tnodes */
667         u32 tnode_width;
668         u32 tnode_mask;
669         u32 tnode_size;
670
671         /* Stuff for figuring out file offset to chunk conversions */
672         u32 chunk_shift;        /* Shift value */
673         u32 chunk_div;          /* Divisor after shifting: 1 for 2^n sizes */
674         u32 chunk_mask;         /* Mask to use for power-of-2 case */
675
676         int is_mounted;
677         int read_only;
678         int is_checkpointed;
679
680         /* Stuff to support block offsetting to support start block zero */
681         int internal_start_block;
682         int internal_end_block;
683         int block_offset;
684         int chunk_offset;
685
686         /* Runtime checkpointing stuff */
687         int checkpt_page_seq;   /* running sequence number of checkpt pages */
688         int checkpt_byte_count;
689         int checkpt_byte_offs;
690         u8 *checkpt_buffer;
691         int checkpt_open_write;
692         int blocks_in_checkpt;
693         int checkpt_cur_chunk;
694         int checkpt_cur_block;
695         int checkpt_next_block;
696         int *checkpt_block_list;
697         int checkpt_max_blocks;
698         u32 checkpt_sum;
699         u32 checkpt_xor;
700
701         int checkpoint_blocks_required; /* Number of blocks needed to store
702                                          * current checkpoint set */
703
704         /* Block Info */
705         struct yaffs_block_info *block_info;
706         u8 *chunk_bits;         /* bitmap of chunks in use */
707         u8 block_info_alt:1;    /* allocated using alternative alloc */
708         u8 chunk_bits_alt:1;    /* allocated using alternative alloc */
709         int chunk_bit_stride;   /* Number of bytes of chunk_bits per block.
710                                  * Must be consistent with chunks_per_block.
711                                  */
712
713         int n_erased_blocks;
714         int alloc_block;        /* Current block being allocated off */
715         u32 alloc_page;
716         int alloc_block_finder; /* Used to search for next allocation block */
717
718         /* Object and Tnode memory management */
719         void *allocator;
720         int n_obj;
721         int n_tnodes;
722
723         int n_hardlinks;
724
725         struct yaffs_obj_bucket obj_bucket[YAFFS_NOBJECT_BUCKETS];
726         u32 bucket_finder;
727
728         int n_free_chunks;
729
730         /* Garbage collection control */
731         u32 *gc_cleanup_list;   /* objects to delete at the end of a GC. */
732         u32 n_clean_ups;
733
734         unsigned has_pending_prioritised_gc;    /* We think this device might
735                                                 have pending prioritised gcs */
736         unsigned gc_disable;
737         unsigned gc_block_finder;
738         unsigned gc_dirtiest;
739         unsigned gc_pages_in_use;
740         unsigned gc_not_done;
741         unsigned gc_block;
742         unsigned gc_chunk;
743         unsigned gc_skip;
744         struct yaffs_summary_tags *gc_sum_tags;
745
746         /* Special directories */
747         struct yaffs_obj *root_dir;
748         struct yaffs_obj *lost_n_found;
749
750         int buffered_block;     /* Which block is buffered here? */
751         int doing_buffered_block_rewrite;
752
753         struct yaffs_cache *cache;
754         int cache_last_use;
755
756         /* Stuff for background deletion and unlinked files. */
757         struct yaffs_obj *unlinked_dir; /* Directory where unlinked and deleted
758                                          files live. */
759         struct yaffs_obj *del_dir;      /* Directory where deleted objects are
760                                         sent to disappear. */
761         struct yaffs_obj *unlinked_deletion;    /* Current file being
762                                                         background deleted. */
763         int n_deleted_files;    /* Count of files awaiting deletion; */
764         int n_unlinked_files;   /* Count of unlinked files. */
765         int n_bg_deletions;     /* Count of background deletions. */
766
767         /* Temporary buffer management */
768         struct yaffs_buffer temp_buffer[YAFFS_N_TEMP_BUFFERS];
769         int max_temp;
770         int temp_in_use;
771         int unmanaged_buffer_allocs;
772         int unmanaged_buffer_deallocs;
773
774         /* yaffs2 runtime stuff */
775         unsigned seq_number;    /* Sequence number of currently
776                                         allocating block */
777         unsigned oldest_dirty_seq;
778         unsigned oldest_dirty_block;
779
780         /* Block refreshing */
781         int refresh_skip;       /* A skip down counter.
782                                  * Refresh happens when this gets to zero. */
783
784         /* Dirty directory handling */
785         struct list_head dirty_dirs;    /* List of dirty directories */
786
787         /* Summary */
788         int chunks_per_summary;
789         struct yaffs_summary_tags *sum_tags;
790
791         /* Statistics */
792         u32 n_page_writes;
793         u32 n_page_reads;
794         u32 n_erasures;
795         u32 n_bad_queries;
796         u32 n_bad_markings;
797         u32 n_erase_failures;
798         u32 n_gc_copies;
799         u32 all_gcs;
800         u32 passive_gc_count;
801         u32 oldest_dirty_gc_count;
802         u32 n_gc_blocks;
803         u32 bg_gcs;
804         u32 n_retried_writes;
805         u32 n_retired_blocks;
806         u32 n_ecc_fixed;
807         u32 n_ecc_unfixed;
808         u32 n_tags_ecc_fixed;
809         u32 n_tags_ecc_unfixed;
810         u32 n_deletions;
811         u32 n_unmarked_deletions;
812         u32 refresh_count;
813         u32 cache_hits;
814         u32 tags_used;
815         u32 summary_used;
816
817 };
818
819 /* The CheckpointDevice structure holds the device information that changes
820  *at runtime and must be preserved over unmount/mount cycles.
821  */
822 struct yaffs_checkpt_dev {
823         int struct_type;
824         int n_erased_blocks;
825         int alloc_block;        /* Current block being allocated off */
826         u32 alloc_page;
827         int n_free_chunks;
828
829         int n_deleted_files;    /* Count of files awaiting deletion; */
830         int n_unlinked_files;   /* Count of unlinked files. */
831         int n_bg_deletions;     /* Count of background deletions. */
832
833         /* yaffs2 runtime stuff */
834         unsigned seq_number;    /* Sequence number of currently
835                                  * allocating block */
836
837 };
838
839 struct yaffs_checkpt_validity {
840         int struct_type;
841         u32 magic;
842         u32 version;
843         u32 head;
844 };
845
846 struct yaffs_shadow_fixer {
847         int obj_id;
848         int shadowed_id;
849         struct yaffs_shadow_fixer *next;
850 };
851
852 /* Structure for doing xattr modifications */
853 struct yaffs_xattr_mod {
854         int set;                /* If 0 then this is a deletion */
855         const YCHAR *name;
856         const void *data;
857         int size;
858         int flags;
859         int result;
860 };
861
862 /*----------------------- YAFFS Functions -----------------------*/
863
864 int yaffs_guts_initialise(struct yaffs_dev *dev);
865 void yaffs_deinitialise(struct yaffs_dev *dev);
866
867 int yaffs_get_n_free_chunks(struct yaffs_dev *dev);
868
869 int yaffs_rename_obj(struct yaffs_obj *old_dir, const YCHAR * old_name,
870                      struct yaffs_obj *new_dir, const YCHAR * new_name);
871
872 int yaffs_unlinker(struct yaffs_obj *dir, const YCHAR * name);
873 int yaffs_del_obj(struct yaffs_obj *obj);
874 struct yaffs_obj *yaffs_retype_obj(struct yaffs_obj *obj,
875                                    enum yaffs_obj_type type);
876
877
878 int yaffs_get_obj_name(struct yaffs_obj *obj, YCHAR * name, int buffer_size);
879 loff_t yaffs_get_obj_length(struct yaffs_obj *obj);
880 int yaffs_get_obj_inode(struct yaffs_obj *obj);
881 unsigned yaffs_get_obj_type(struct yaffs_obj *obj);
882 int yaffs_get_obj_link_count(struct yaffs_obj *obj);
883
884 /* File operations */
885 int yaffs_file_rd(struct yaffs_obj *obj, u8 * buffer, loff_t offset,
886                   int n_bytes);
887 int yaffs_wr_file(struct yaffs_obj *obj, const u8 * buffer, loff_t offset,
888                   int n_bytes, int write_trhrough);
889 int yaffs_resize_file(struct yaffs_obj *obj, loff_t new_size);
890
891 struct yaffs_obj *yaffs_create_file(struct yaffs_obj *parent,
892                                     const YCHAR *name, u32 mode, u32 uid,
893                                     u32 gid);
894
895 int yaffs_flush_file(struct yaffs_obj *in,
896                      int update_time,
897                      int data_sync,
898                      int discard_cache);
899
900 /* Flushing and checkpointing */
901 void yaffs_flush_whole_cache(struct yaffs_dev *dev, int discard);
902
903 int yaffs_checkpoint_save(struct yaffs_dev *dev);
904 int yaffs_checkpoint_restore(struct yaffs_dev *dev);
905
906 /* Directory operations */
907 struct yaffs_obj *yaffs_create_dir(struct yaffs_obj *parent, const YCHAR *name,
908                                    u32 mode, u32 uid, u32 gid);
909 struct yaffs_obj *yaffs_find_by_name(struct yaffs_obj *the_dir,
910                                      const YCHAR *name);
911 struct yaffs_obj *yaffs_find_by_number(struct yaffs_dev *dev, u32 number);
912
913 /* Link operations */
914 struct yaffs_obj *yaffs_link_obj(struct yaffs_obj *parent, const YCHAR *name,
915                                  struct yaffs_obj *equiv_obj);
916
917 struct yaffs_obj *yaffs_get_equivalent_obj(struct yaffs_obj *obj);
918
919 /* Symlink operations */
920 struct yaffs_obj *yaffs_create_symlink(struct yaffs_obj *parent,
921                                        const YCHAR *name, u32 mode, u32 uid,
922                                        u32 gid, const YCHAR *alias);
923 YCHAR *yaffs_get_symlink_alias(struct yaffs_obj *obj);
924
925 /* Special inodes (fifos, sockets and devices) */
926 struct yaffs_obj *yaffs_create_special(struct yaffs_obj *parent,
927                                        const YCHAR *name, u32 mode, u32 uid,
928                                        u32 gid, u32 rdev);
929
930 int yaffs_set_xattrib(struct yaffs_obj *obj, const YCHAR *name,
931                       const void *value, int size, int flags);
932 int yaffs_get_xattrib(struct yaffs_obj *obj, const YCHAR *name, void *value,
933                       int size);
934 int yaffs_list_xattrib(struct yaffs_obj *obj, char *buffer, int size);
935 int yaffs_remove_xattrib(struct yaffs_obj *obj, const YCHAR *name);
936
937 /* Special directories */
938 struct yaffs_obj *yaffs_root(struct yaffs_dev *dev);
939 struct yaffs_obj *yaffs_lost_n_found(struct yaffs_dev *dev);
940
941 void yaffs_handle_defered_free(struct yaffs_obj *obj);
942
943 void yaffs_update_dirty_dirs(struct yaffs_dev *dev);
944
945 int yaffs_bg_gc(struct yaffs_dev *dev, unsigned urgency);
946
947 /* Debug dump  */
948 int yaffs_dump_obj(struct yaffs_obj *obj);
949
950 void yaffs_guts_test(struct yaffs_dev *dev);
951 int yaffs_guts_ll_init(struct yaffs_dev *dev);
952
953
954 /* A few useful functions to be used within the core files*/
955 void yaffs_chunk_del(struct yaffs_dev *dev, int chunk_id, int mark_flash,
956                      int lyn);
957 int yaffs_check_ff(u8 *buffer, int n_bytes);
958 void yaffs_handle_chunk_error(struct yaffs_dev *dev,
959                               struct yaffs_block_info *bi);
960
961 u8 *yaffs_get_temp_buffer(struct yaffs_dev *dev);
962 void yaffs_release_temp_buffer(struct yaffs_dev *dev, u8 *buffer);
963
964 struct yaffs_obj *yaffs_find_or_create_by_number(struct yaffs_dev *dev,
965                                                  int number,
966                                                  enum yaffs_obj_type type);
967 int yaffs_put_chunk_in_file(struct yaffs_obj *in, int inode_chunk,
968                             int nand_chunk, int in_scan);
969 void yaffs_set_obj_name(struct yaffs_obj *obj, const YCHAR *name);
970 void yaffs_set_obj_name_from_oh(struct yaffs_obj *obj,
971                                 const struct yaffs_obj_hdr *oh);
972 void yaffs_add_obj_to_dir(struct yaffs_obj *directory, struct yaffs_obj *obj);
973 YCHAR *yaffs_clone_str(const YCHAR *str);
974 void yaffs_link_fixup(struct yaffs_dev *dev, struct list_head *hard_list);
975 void yaffs_block_became_dirty(struct yaffs_dev *dev, int block_no);
976 int yaffs_update_oh(struct yaffs_obj *in, const YCHAR *name,
977                     int force, int is_shrink, int shadows,
978                     struct yaffs_xattr_mod *xop);
979 void yaffs_handle_shadowed_obj(struct yaffs_dev *dev, int obj_id,
980                                int backward_scanning);
981 int yaffs_check_alloc_available(struct yaffs_dev *dev, int n_chunks);
982 struct yaffs_tnode *yaffs_get_tnode(struct yaffs_dev *dev);
983 struct yaffs_tnode *yaffs_add_find_tnode_0(struct yaffs_dev *dev,
984                                            struct yaffs_file_var *file_struct,
985                                            u32 chunk_id,
986                                            struct yaffs_tnode *passed_tn);
987
988 int yaffs_do_file_wr(struct yaffs_obj *in, const u8 *buffer, loff_t offset,
989                      int n_bytes, int write_trhrough);
990 void yaffs_resize_file_down(struct yaffs_obj *obj, loff_t new_size);
991 void yaffs_skip_rest_of_block(struct yaffs_dev *dev);
992
993 int yaffs_count_free_chunks(struct yaffs_dev *dev);
994
995 struct yaffs_tnode *yaffs_find_tnode_0(struct yaffs_dev *dev,
996                                        struct yaffs_file_var *file_struct,
997                                        u32 chunk_id);
998
999 u32 yaffs_get_group_base(struct yaffs_dev *dev, struct yaffs_tnode *tn,
1000                          unsigned pos);
1001
1002 int yaffs_is_non_empty_dir(struct yaffs_obj *obj);
1003
1004 int yaffs_guts_format_dev(struct yaffs_dev *dev);
1005
1006 void yaffs_addr_to_chunk(struct yaffs_dev *dev, loff_t addr,
1007                                 int *chunk_out, u32 *offset_out);
1008 /*
1009  * Marshalling functions to get loff_t file sizes into aand out of
1010  * object headers.
1011  */
1012 void yaffs_oh_size_load(struct yaffs_obj_hdr *oh, loff_t fsize);
1013 loff_t yaffs_oh_to_size(struct yaffs_obj_hdr *oh);
1014 loff_t yaffs_max_file_size(struct yaffs_dev *dev);
1015
1016 /*
1017  * Debug function to count number of blocks in each state
1018  * NB Needs to be called with correct number of integers
1019  */
1020
1021 void yaffs_count_blocks_by_state(struct yaffs_dev *dev, int bs[10]);
1022
1023 int yaffs_find_chunk_in_file(struct yaffs_obj *in, int inode_chunk,
1024                                     struct yaffs_ext_tags *tags);
1025
1026 #endif