Fix sleep logic in background gc thread example

The logic to sleep longer was the wrong way around.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Index the block state string list because the order was wrong.

Thanks to Cory Wiltshire for pointing out the problem and proposing
a fix.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

kernel Makefile won't work after moving cache handling into a separated file.

Signed-off-by: Luca (Wei) Chen <wei@cvluca.com>

yaffs_guts.c : Fix missing temporary buffers when doing yaffs format on inband tags.

The low level init was not setting up temporary buffers. This was causing yaffs_format
to crash in the case of formating a device with inband tags.

Solution is to move the temporary buffer creation into low level init.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

New yaffs2_image_maker tool to work with 4kB pages - still under test

This appears to be working but more testing required.

The tool now takes two new parameters for modifying the bytes per page
and pages per block.

For instance to create an inband tags image using 4kB virtual pages (ie. 32
virtual pages per block) try:

./yaffs2_image_maker -i test-dir2 -o outimage -w working_file -I -c 4096  -B 32

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs_image_maker: Add ability to handle oob tags and no tags ecc

This still has some limits - it assumes 2k pages.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Add a README for the image maker

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Add endian feature to image maker and do some tidy up.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Add an image maker tool that generates image files for 2k page * 64 devices

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Some clean up and more modular cache management

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Add CONFIG_YAFFS_NO_YAFFS1 flag to remove yaffs1 code when not needed

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Move cache code to own file

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Move cache handling into its own file

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Add CONFIG_YAFFS_SMALL_RAM to reduce RAM footprint

Reduce number of handles and search contexts.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Add CONFIG_YAFFS_NO_TRACE to turn off all tracing

This allows a foootprint reduction.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs-vfs-multi.c: Handle search context properly to prevent leaking

Fix potential memory leak due to search context not being closed properly.

Thank you to George Pee for reporting this issue.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Add malloc monitoring to get a sense of RAM use

Note this should only be monitoring the malloc usage by Yaffs, not the
malloc usage in things like flash simulators which are not relevant in
real systems.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Begign bug: Fix incorrect return value

The return value was not being used, but it was wrong.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Merge branch 'sizeofsizeof'

Fix two bugs:

sizeof(sizeof(hdr)) used instaed of sizeof(hr)

remounting a read-only fs in rw did not clean up defered operations
properly.

Add some RTEMS notes

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Handle cleanup when remounting rw after mounting read-only

Deferend clean ups were not happening properly.

Thanks to andriy.grytsenko@globallogic.com for providing a
patch that forms the babsis of these changes.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Make buffers larger to stop compiler complaining

The buffers were not overflowing, but the check was complaining.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

fix wrong use of sizeof in yaffs_checkpt_close

There is a distinct bug that sizeof was used incorrectly,
causing the judgment to be ineffective and always flushing checkpt buffer.

Signed-off-by: liaohua <liaohua4@huawei.com>

Add test to dereference symlink

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Add more basic tests and some clean up.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Add stats to flash simulator

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

rtems yests: FSX

Add readme and some tweaks.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Add fsx file test and split up basic tests.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

rtems support: Rudimentary test harness now working.

Lots more test cases to add.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Makefile.rtems: Add a few missing files

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs_tagsmarshall.c: Fix prototype dependency

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

rtems_yaffs: Remove unnecessary flushing of symlink

Flushing only has meaning on regular files which have cached data.
Symlinks do not have any cached data, therefore flushing has no purpose. Remove.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

rtems-yaffs: Checkpoint the filesystem at unmount time

Adding a checkpoint greatly reduces the amount of time required to mount
the filesystem on the next boot.  After a clean unmount, remount time
is only a second or few.  After an unclean reboot, remount time requires
a scan of the filesystem, which can take a few minutes.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

rtems_yaffs: Add symlink support

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

rtems-yaffs: Modes to freshen to latest Yaffs and build in yaffs2/rtems

Makefile uses symlinks to files outside yaffs2/rtems aso that rtems can be built without
modifying the directory structure and deleting files.

Various tweaks needed to support changes in function prototypes.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Import rtems wrapper from rtems git

https://git.rtems.org/sebh/rtems-yaffs2.git/
Commit:  23be2ac372173ecf701a0a

Most of this work was authored by

Sebastian Huber <sebastian.huber@embedded-brains.de>
Sebastien Bourdeauducq <sebastien@milkymist.org>

Note that the RTEMS licencing applies to all the rtems wrapper code.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

fix memory leak when /proc/yaffs is read

Thanks to Jisheng Zhang <Jisheng.Zhang@synaptics.com> for supplying this patch

There is a kernel memory leak observed when the proc file /proc/yaffs
is read. This reason is that in yaffs_proc_open, single_open is called
and the respective release function is not called during release.

Fix with correct release function - single_release().

Signed-off-by: Jisheng Zhang <Jisheng.Zhang@synaptics.com>

Fix race yaffs_flush_inodes against iput

needs inode->i_sb->s_inode_list_lock protects
  inode->i_sb->s_inodes, inode->i_sb_list

Signed-off-by: chengchao <chengchao@kedacom.com>

Akiko: Fix Yaffs Linux compilation for 4.9 to 4.19

Thanks Akiko for supplying this patch

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Only load name if read succeeds

Thanks Akiko for supplying this patch.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Merge branch 'master' of ssh://aleph1.co.uk/home/aleph1/git/yaffs2

Clean up some version dependencies

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Fix hang caused by returning with lock held

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Fix building for mkyaffsimage and mkyaffs2image

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Fix copyright

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Clean up some compilation warnings for VxWorks

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Add Adre's patch for Linux 4.9

Kudos to Andre Renaud <andre@ignavus.net>

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Add struct definition to yaffs_nameval header

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs direct: Fix opening of a directory.

If opening a directory using yaffs_open(), Yaffs Direct was checking
that the file was being opened with O_RDONLY.

In fact those flags should actually be ignored and it should be treated
as if opened O_RDONLY.

Therefore override flags if opening a directory.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Changes to test scripts

These just clean up a few things.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Fix yaffs_endian.h for Linux

Yaffs loff_t is kept as loff_t and converted into Y_LOFF_T when
when exported for Yaffs Direct.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Changes to enable Linux 4.8 compilation

timothy-tests: Fix paths for wrongly failing tests

All pass now.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

timothy-tests: Change mountpoint names to match test framework

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Get timothy quick tests building cleanly.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

More compilation clean up

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Compilation clean up

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Chean up nand test script

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs2: Yaffs endian support

Allow the forcing of endians so that Yaffs can be used on mixed endian
machines, or a flash image can be extracted and used elsewhere.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Change checkpoint object to using a bitfield

This is done to support changing to support endian
manipulation.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Add ability to hide lost_n_found directory

Some people don't want it showing up in the directory structure.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Split qsort from the main Yaffs Direct base

Use the system qsort if available. If not, then add in the
optional qsort.c

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Write object headers with stored file extents

Previously file object headers were being written with file extents
rather than stored extents.

This could lead to situations where the data in the cache was not yet
written to flash but had been accounted for in the object header file
size.

Under power fail this could cause zero-filled blobs at the end of a file.

This change tracks the stored file size and only write object headers
reflecting the extents of the file that has actually been stored to flash,
thus avoiding the holes.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs_vfs_multi.c: Some cleanups

Remove some build time strings so that the binary deos not change
every time the code is compiled.

Add some support for kernel changes

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Change enums to u32 for stored fields

enum sizes are not fixed, so it is better to specify an actual sized
storage element.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Add usr mode flags

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Further extensions for VxWorks wrapper

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Some changes to get VxWorks wrapper working

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Remove unnecessary variable from checkpooint reading

No point in tracking ok if we're also going to break.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Keep checkpt rd/wr buffers

Continual malloc/free on some systemcs can cause fragmentation. Better
to just allocate the buffers once and hold unto them.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Remove unused variable

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs direct: Fix wrong condition for O_CREAT | O_EXCL

Thanks Chris for pointing this out.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Clean up defeated conditional.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Add handling for . and .. at end of path

yaffs_opendir("/nand/x/./") or yaffs_opendir("/nand/x/../") were
not working, but yaffs_opendir("/nand/x/.") and yaffs_opendir("/nand/x/..")
were.

Make them all work.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Add some more basic tests

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Fix yaffs_readdir when dereferencing a symlink

If the directory is a symlink then follow the symlink.

eg
yaffs_mount("/nand/");
yaffs_symlink("x", "/nand/sym");
yaffs_mkdir("/nand/x",0666);

After that:

yaffs_opendir("/nand/sym/") works, but opendir("/nand/sym") fails because the
symlink itself is found. Fix by dereferencing the symlink in yaffs_opendir().

Thanks to Trent Lillehaugen for finding that.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Fix directory look up.

Thanks to Trent Lillehaugen for new algorithm:

Let's say I have two yaffs partitions: "/" and "/foo".
If I call, yaffs_mkdir("/foobar", 0), yaffsfs_FindDevice will match the path
with the "/foo" partition.  I would expect it to match "/" instead.
It will also match "/fo/o/bar" with "/foo", again I think it should match
with "/".

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: fix missing checkpooint on yaffs remount

For yaffs file system, the mode of reading or writing is restricted at
four pointer where are mnt->mnt_flags,mnt->mnt_sb->s_flags,mtd->flags
and dev->read_only,the first three is used handle file and file
system(eg,remount) operation, and last one(dev->read_only) almost is used
handle checkpoint of yaffs2. However, in current code, the dev->read_only
only can be changed at first time when the yaffs2 file system is mounted,
later it can't be changed again(eg,mount -o remount), the result is that
the checkpoint's saving operation always can't succeed if you set readonly
mode for yaffs2 file system when it is mounted at the first time.

To fix this issue, we implement yaffs_remount_fs() which allows the
rootfs to be remounted as r/w.

Also fix one missing argument in yaffs_flush_whole_cache() call.

Signed-off-by: Wenlin Kang <wenlin.kang@windriver.com>

Fix vfs calls to yaffs_flush_file

Add extra argument.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs-direct: Basic tests. Add lpthread flag for background gc support

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Remove unused WinCE Makefile

THis was for copying the yaffs direct files needed for WinCE.

This is no longer needed since we can just copy the files from
yaffs2/direct/*.[ch]

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs direct: Add some missing reldev functions

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Test tweaks

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Some yaffsfs cleanups for WinCE

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Yaffs: Change cache policy

When the cache is full and a new cache entry is needed, then space has
to be made. This is sometimes termed push out.

Until now, the push out involved finding the least recently used cache
entry then pushing out all entries in the same file.

This had the unintended consequence of making "bursty" writes and forcing
extra reads under some conditions.

Since the same code path was being used for fsync() and flushing, this
also meant that flushing a file caused the file to be thrown out of the
cache. That is not a very useful thing to do.

These changes are twofold:

1. Only push out the LRU cache entry, rather than the whole file. This
makes for a "smoother" push out. It also saves some reads.

2. Flushing a file no longer invalidates the file in cache, it just writes
dirty cache entries. This makes better use of the cache.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Update to support Linux 3.14/3.15

Thanks to Andre Renaud for doing some of this.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs direct: Expose background garbage collection

Expose background garbage collection and add a demo
pthread implementation of background gc.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Clean up bitfield types

It happens that the C spec says compilers can choose whether to treat
int bitfields as signed or unsigned.

In some cases, int was being used and signed was expected. The IAR
ARM compiler in particular treats int bitfields as unsigned.

Clean up these plus a few other bitfield usages to make the size and
type explicit.

Thanks to ChungKang Hu for identifying this issue.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs-direct: Add reldir and reldev interfaces

These interfaces allow far more flexibility in the way Yaffs Direct
is hooked up to an RTOS VFS.

The "normal" interface requires a fully, qualified path, which is
a pain to achieve in some RTOSs.

The new interfaces allow calls to be done with paths relative to a
directory or to a device. This tends to make some RTOS integration
cleaner.

Example
 yaffs_open("/mountpoint-name/dir/file",...);
now has two alternatives:
 yaffs_open_reldir(root_dir,"dir/file",...);
or
 yaffs_open_reldev(dev, "dir/file",...);

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Merge branch 'master' of ssh://aleph1.co.uk/home/aleph1/git/yaffs2

yaffs-direct: Fix object leak caused by defered free

The change to dtest.c adds a test case that was leaking objects.
The change to yaffsfs.c fixes this.

This leak was triggered by sequences of the following form:

yaffs_open(file_name, ...); /* create obj */
...
yaffs_unlink(file_name);
yaffs_close(file_name);

When the file was closed, obj->my_inode was not NULL when yaffs_del_obj() is
called, therefore the object was not released properly.

The fix "unstitches" the object before the call to yaffs_del_obj(), so that
obj->my_inode is NULL and the object freeing is done correctly.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Apply fixes in cisco patch to yaffs_vfs_single

Cisco patched the multi version. This manually drags the fixes to the
single version too.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Use IS_ERR to validate return value from get_mtd_device()

Testing has shown that is needed.

Return from yaffs_internal_read_super if kmalloc fail

Return if either, or both, of dev and context failed to
kmalloc(). kfree() handles NULL as argument so utilise that to
simplify code.

Change the object type if it turns out to be wrong during a scan

This might result in some files ending up in lost but at least we
can get the file system to mount.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Remove block number check from summary verification

The summary already has other verification. This one is not needed.

The check caused summaries to be ignored if they were not on the
numbered block. This caused problems when a summary was embedded in an
image and the image is written to a flash with bad blocks.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Merge branch 'master' of ssh://aleph1.co.uk/home/aleph1/git/yaffs2

Add some extra debugging to yaffs_vfs_multi.c

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Add some yaffs debug functions for inspecting run-time state.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Initialise device properly when doing a format.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>