yaffs  Fix yaffs1 soft delete issue

In some corner cases soft deletion could cause NAND to leak and show
up in lost and found.

This only impacts yaffs1 mode.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs  Changes to direct tests

Add test for lost+found being empty.
Make fuzzer less verbose
Allow changing of iteration count for simulated power fail testing.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs Get fuzz tester to run further

During fuzz testing we allow tests to run even if integrity errors happen. This
allows the fuzz test to check for more complex cases.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Fix issues kicked up by fuzz testing

Some more problems kicked up by fuzz testing:
* Further verification of chunk tags.
* If loading details for root dir or lost+found then don't change the
*  variant type since we know they are directories.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs Implement phase 1 fuzz testing.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs Update RAM simulator to support start and end blocks

This makes it more versatile for simulation of different usage patterns.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Fix AutoUnicode handling

Call the correct function to process auto unicode.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs Fix yaffs direct creating opening files with no name

Opening a file with a name that was a directory would create a
file named "" within that directory.

This is now fixed. The call fails.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs Add another test to basic tests

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs Keep unused linux alloactor code up to date

We're not using this, but let's keep it compiling anyway.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs Fix in-kernel makefile to use correct allocator

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs Fix xattrib headers for use with unicode

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs Move yaffscfg.h to where it should be

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs Clean up WinCE compilation issues

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs Make directory for extracting common wince files

This helps to shift files to WinCE portts.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs Add Makefile to create symlinks

This makes it easy to get all the yaffs drect files + symlinks.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs Refactor yaffs direct device list management, add nand abstraction, divide up test code

This all makes for a far cleaner layout of test code.

The new yaffs direct list management allows partitions to be added synamically rather than
statically. This is better for OSs that install partitions at runtime (eg. WInCE).

The nand abstraction makes it tidier to add a new nand driver to yaffs direct and test code.

The test code has been repartitioned to make porting and file management cleaner.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs Fix scan problem for corrupted tags

Check that the tags are within reasonable bounds. Without this, subsequent
checks can fail causing a mount failure.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs Refactorisation first phase

Partitoning code. More to happen.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs Reactoring WIP

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs Refactor yaffs1 and yaffs2 specific code. WIP

This will keep yaffs1 vs yaffs2 code cleaner and allow unused code to
be left out.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs  Fix xattr error codes

There were some incorrect error codes.
Now returns
ENODATA if an object does not have the requested xattr.
ERANGE if the buffer is too small to accept the requested xattr.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs Fix readdir locking

yaffs_EndSearch() should have been called with yaffs locked.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Merge branch 'master' of ssh://aleph1.co.uk/home/aleph1/git/yaffs2

yaffs Add .gitignore

Add .gitignore

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs direct: Fix yaffs direct offset handling for pwrite

Note that if the handle is opened with O_APPEND then the pwrite() offset
is ignored and the write appends.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Change timer init call to init_timer_on_stack

This call is more debug friendly and does not trigger certain kernel warmings.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Clean up unused variable

Remove warning.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Change yaffs_sync_object prototype for new 2.6.35 VFS interface

The sync interface changed, we change too...

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Fix up xattrib flag names

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Remove own qsort from Linux build

Use Linux's built in sorter.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Refactor allocator

Refactoring the allocator allows alternate allocators to be switched in more easily

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Fix yaffsfs xattr error handling, add yaffs_lsetxattr and friends

Error codes were not being handled correctly.
yaffs_lsetxattr, yaffs_lgetxattr, yaffs_lremovexattr, yaffs_llistxattr.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Improve xattrib to not modify if there is no space

Previously replacing an xattrib with a larger one that could not fit
would result in the original xattrib being deleted.

We now only replace an xattrib if there is space to do so.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Add xattrib file to in-kernel Makefile

First xattrib checkin missed this change.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Add xattrib support

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Clean up yaffs direct configuration

Clean up some stale comments.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Add python test for O_EXCL

Check that OEXCL really works according to what's on the box.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Clean up comments in direct/yaffsfs.c

Get rid of C++ style comments

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs Fix the interpretation of O_EXCL

O_EXCL does not mean openinging for exclusive access.

O_EXCL only has meaning with O_CREAT. It means only create file if
it does not exist.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs Tweaks to stress test

Add/remove  directories to increase coverage.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Tweak tests to use log files

This runs faster than spewing onto a terminal.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs Fix incorrect handling of deletion flag

Move the reading of the deleted flag so that it picks up any changes.

Notw we need a value on the stack because the object might get
freed and we don't want to access a hanging pointer.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs Add another test script

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Merge branch 'master' of ssh://aleph1.co.uk/home/aleph1/git/yaffs2

yaffs Move docs to other repository

yaffs Clean up exit from plot script

The plot script now cleans up properly after a control-C.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Add yaffs direct pdf

Makes it easier for users to access docs.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Improve debug chunk erased checking, change refreshPeriod

Normalise macro to YAFFS_CONFIG_ALWAYS_CHECK_CHUNK_ERASED.
This reduces performance so output kernel message warning this is enabled.

Change refreshPeriod to make it much slower.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Add dump_stack() to YBUG to give more info.

This adds more info for debugging.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs Clean up compilation warning

Don't compile unused functions.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Don't do checkpoint for small partitions.

On very small partitions a checkpoint is pointless and wastes space.
For less than 60 blocks we don't try making a checkpoint.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Speed up test script

Set tracing to zero so that test script runs faster

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Integrate Android tree differences

This brings in Android changes, and a few more clean-ups to normalise with the
Android tree.

More to follow maybe.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Change name of /proc/yaffs_stats

name was not updated in plotter script.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Tweak test scripts
Minor change so that the script sleeps and does not just exit.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Changes to test scripts

Add mount_cycling script.

Change /proc/yaffs_debug references to /proc/yaffs_stats.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs Some cleanups.

Update copyright messages.
Clean up tracing to use TSTR and KERN_DEBUG.
Remove cvs $Id.
Change /proc/yaffs_debug to /proc/yaffs_stats.
... and a few other clean ups.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Rationalise plot_data.sh

plot_data.sh now includes all the scripting required to do the plotting.
No longer uses seperate scripts to gather data and drive gnu-plot.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Clean up 64-bit compilation

Change format fields to work properly with 64-bit compilation.

Change name of background thread to get rid of pointer calculations.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Change trace flag for partially written blocks

This was YAFFS_TRACE_ALWAYS which generated a lot of pointless tracing.
Switched to YAFFS_TRACE_SCAN.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Adding HowYaffsWorks.pdf for users

Signed-off-by: jenny <jenny@basil.follybridge>

yaffs: More background gc tweaks.

Slight changes to urgency thresholds

Fix problem where background gc was interfering with sync resulting in
checkpoints being lost.

Add more tracing for background gc.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs New background garbage collector and related tweaks

This commit
- introduces the yaffs background garbage collection feature
- tweaks the foregound garbage collection to do less work
- changes the way auto-checkpointing works
- tweaks the block refreshing logic.

The aim of the background garbage collector is to do at least some of the
garbage collection in the background so that writing operations will not have
to do as much garbage collection which should make writes faster. The amount of
background garbage collection is controlled by the ratio between the amount of
erased space vs the amount of free space:
* If less than quarter of free space is erased, then background gc is frequent.
* Else if less than a half of the free space is erased, then background gc is
still done reasonably frequently.
* else (at least half of the free space is erased) the background gc is done
infrequently.

Background gc is not attempted if the partition is checkpointed since that would
invalidate the checkpoint.

The auto-checkpointing feature has changed slightly. If the yaffs_auto_checkpoint
value is set to 1 or 2 then the auto checkpointing will be blocked if the erased
space is less than half the free space (ie. the auto-checkpointing is blocked to
allow background gc to progress). Oring in 4 into the yaffs_auto_checkpoint will
do a one-shot override, forcing a checkpoint and suspending background gc until
the partition is dirtied by a write, erase etc.

The block refreshing control has been changed. The dev->param.refreshPeriod now
controls how many blocks are garbage collected before another refresh is performed.
Values around 1000 probably make the best sense.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

work in progress

Tweak nfs support

Fix problem that caused a regression in busybox rm on directories
with many files.

Limit the feature to only compile with more recent kernels that have
all the required features.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Add one-shot feature for yaffs auto checkpointing.

This feature is enabling by ORing in 0x04 to the yaffs_auto_checkpoint
module parameter. This will do a one-shot checkpoint on the next sync and
the bit will then be reset.

This is a nice way to force a checkpoint on the next sync. eg.
echo 6 > /sys/modules/yaffs/parameters/yaffs_auto_checkpoint
sync
yaffs_auto_checkpoint will now be 2

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Tweaks to YaffsTuning doc.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Add nfs support.
This is a modified version of the patch suplied by
Jean-Loup Sabatier

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Add more test code.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Merge branch 'master' of ssh://aleph1.co.uk/home/aleph1/git/yaffs2

Add more test scripts to automate running tests.

Add more test scripts to automate running tests.

Re-enable soft delete for yaffs1 mode.

Soft deletion was disabled because it messed up yaffs2 mode.
Soft deletion is not very valuable for yaffs2 mode, but has been
re-enabled for yaffs1 mode where it is far more value.

Also added a parameter to disable soft delete.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Add scripts for realtime plotting erased psace vs free space

Fix typo (and check git is working)

Add work in progress yaffs tuning document

Update yaffs docs

Add garbage collection control

Add more detail to yaffs_debug

Add mkfiles test

Add debug proc entry for gathering gc stats

Get rid of kernel lock, change stats to __u32

Faster block iteration where all blocks are being checked

Reduce shrink header writing

Add test for reduced shrink headers

Update tags when rewriting object header during gc

Add more test info

Change test to 32MB

More testing

Clear obsolete files during simulation

Clear all files at start of simulation

Add conditional compilation for background processing

Fix typo

Add background processing of updated directories

Add extra checks to oldest dirty sequence checking

Dynamically update the oldest dirty sequence number so that it does not have to be recalculated all the time

Add dummy uses for unused variables to clear compilation warnings

Remove oldestDirtySequence from checkpoint

Remove obsolete pathDivider field