yaffs Clean up exit from plot script

The plot script now cleans up properly after a control-C.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Add yaffs direct pdf

Makes it easier for users to access docs.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Improve debug chunk erased checking, change refreshPeriod

Normalise macro to YAFFS_CONFIG_ALWAYS_CHECK_CHUNK_ERASED.
This reduces performance so output kernel message warning this is enabled.

Change refreshPeriod to make it much slower.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Add dump_stack() to YBUG to give more info.

This adds more info for debugging.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs Clean up compilation warning

Don't compile unused functions.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Don't do checkpoint for small partitions.

On very small partitions a checkpoint is pointless and wastes space.
For less than 60 blocks we don't try making a checkpoint.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Speed up test script

Set tracing to zero so that test script runs faster

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Integrate Android tree differences

This brings in Android changes, and a few more clean-ups to normalise with the
Android tree.

More to follow maybe.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Change name of /proc/yaffs_stats

name was not updated in plotter script.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Tweak test scripts
Minor change so that the script sleeps and does not just exit.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Changes to test scripts

Add mount_cycling script.

Change /proc/yaffs_debug references to /proc/yaffs_stats.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs Some cleanups.

Update copyright messages.
Clean up tracing to use TSTR and KERN_DEBUG.
Remove cvs $Id.
Change /proc/yaffs_debug to /proc/yaffs_stats.
... and a few other clean ups.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Rationalise plot_data.sh

plot_data.sh now includes all the scripting required to do the plotting.
No longer uses seperate scripts to gather data and drive gnu-plot.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Clean up 64-bit compilation

Change format fields to work properly with 64-bit compilation.

Change name of background thread to get rid of pointer calculations.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs: Change trace flag for partially written blocks

This was YAFFS_TRACE_ALWAYS which generated a lot of pointless tracing.
Switched to YAFFS_TRACE_SCAN.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Adding HowYaffsWorks.pdf for users

Signed-off-by: jenny <jenny@basil.follybridge>

yaffs: More background gc tweaks.

Slight changes to urgency thresholds

Fix problem where background gc was interfering with sync resulting in
checkpoints being lost.

Add more tracing for background gc.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

yaffs New background garbage collector and related tweaks

This commit
- introduces the yaffs background garbage collection feature
- tweaks the foregound garbage collection to do less work
- changes the way auto-checkpointing works
- tweaks the block refreshing logic.

The aim of the background garbage collector is to do at least some of the
garbage collection in the background so that writing operations will not have
to do as much garbage collection which should make writes faster. The amount of
background garbage collection is controlled by the ratio between the amount of
erased space vs the amount of free space:
* If less than quarter of free space is erased, then background gc is frequent.
* Else if less than a half of the free space is erased, then background gc is
still done reasonably frequently.
* else (at least half of the free space is erased) the background gc is done
infrequently.

Background gc is not attempted if the partition is checkpointed since that would
invalidate the checkpoint.

The auto-checkpointing feature has changed slightly. If the yaffs_auto_checkpoint
value is set to 1 or 2 then the auto checkpointing will be blocked if the erased
space is less than half the free space (ie. the auto-checkpointing is blocked to
allow background gc to progress). Oring in 4 into the yaffs_auto_checkpoint will
do a one-shot override, forcing a checkpoint and suspending background gc until
the partition is dirtied by a write, erase etc.

The block refreshing control has been changed. The dev->param.refreshPeriod now
controls how many blocks are garbage collected before another refresh is performed.
Values around 1000 probably make the best sense.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

work in progress

Tweak nfs support

Fix problem that caused a regression in busybox rm on directories
with many files.

Limit the feature to only compile with more recent kernels that have
all the required features.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Add one-shot feature for yaffs auto checkpointing.

This feature is enabling by ORing in 0x04 to the yaffs_auto_checkpoint
module parameter. This will do a one-shot checkpoint on the next sync and
the bit will then be reset.

This is a nice way to force a checkpoint on the next sync. eg.
echo 6 > /sys/modules/yaffs/parameters/yaffs_auto_checkpoint
sync
yaffs_auto_checkpoint will now be 2

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Tweaks to YaffsTuning doc.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Add nfs support.
This is a modified version of the patch suplied by
Jean-Loup Sabatier

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Add more test code.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Merge branch 'master' of ssh://aleph1.co.uk/home/aleph1/git/yaffs2

Add more test scripts to automate running tests.

Add more test scripts to automate running tests.

Re-enable soft delete for yaffs1 mode.

Soft deletion was disabled because it messed up yaffs2 mode.
Soft deletion is not very valuable for yaffs2 mode, but has been
re-enabled for yaffs1 mode where it is far more value.

Also added a parameter to disable soft delete.

Signed-off-by: Charles Manning <cdhmanning@gmail.com>

Add scripts for realtime plotting erased psace vs free space

Fix typo (and check git is working)

Add work in progress yaffs tuning document

Update yaffs docs

Add garbage collection control

Add more detail to yaffs_debug

Add mkfiles test

Add debug proc entry for gathering gc stats

Get rid of kernel lock, change stats to __u32

Faster block iteration where all blocks are being checked

Reduce shrink header writing

Add test for reduced shrink headers

Update tags when rewriting object header during gc

Add more test info

Change test to 32MB

More testing

Clear obsolete files during simulation

Clear all files at start of simulation

Add conditional compilation for background processing

Fix typo

Add background processing of updated directories

Add extra checks to oldest dirty sequence checking

Dynamically update the oldest dirty sequence number so that it does not have to be recalculated all the time

Add dummy uses for unused variables to clear compilation warnings

Remove oldestDirtySequence from checkpoint

Remove obsolete pathDivider field

Clean up yaffs_FindNiceObject to be thread safe and simpler. Fix code that does a dummy tree insert during write

Add block refreshing feature

Fix problem caused by void ptr and clean up code paths

Add extra compiler flags

Pass correct argument to markSuperBlockDirty

Fix parameter handling

Remove obsolete mtdif code

Add default return

Fix mtdif erasing to work properly for inband tags

Rationalise context and parameter handling

Rationalise context and parameter handling

Cleaner error reporting

make clean works better

Clean ups and improve some out of memory handling

Fix wrong link

Add remount and forced unmount to yaffs direct

 Prevent resizes bigger than 2GBytes

Break up yaffs direct reads and writes to prevent locking with long operations

Fix typo

Update Howyaffsworks

Add own zero_user_segment for older kernels

Add documentation .odt files

Change initnandsim to accept parameters to lauch different simulations

Change parameters to packing/unpacking to fix mkyaffs2image compilation issue

Move tracing out of yportenv.h

Change direct handle management to use an inode layer to make it consistent with Linux VFS. This is done to improve testing consistency.

Change number of handles to 100

Add handle tests

Fix issue with unlinking hardlinks failing sanity check

Add another test

Clear creation counters when deinitialising.

Add more comment for yaffs_PruneWorker function.

Change nandsim invocation to use 256MB partition

Fix pruning to work correctly with wide Tnodes

FSX runs much better with this

Fix obvious 64-bit issues. Mounts and does basic touch, rm etc

New partial block handing to improve robustness

Add fuzzer work in progress

Update README

Update not stress test

Change to strnlen() and strncpy() to avoid problems from unbounded strings

Clear shadowing during garbage collection since its work is done

Add tracMask control option to tests to allow them to run quicker

Fix problem where symllink alias pointer was being used after free

Add more info to python test

New fix for readdir hang