Merge branch 'master' into emv_argtable

Added loading EMV transaction parameters from json file (#659)

* added default params file
* added jansson
* added test function.
* added tlv tree to function
* add params from json works
* added to `hf emv exec`: load params from json and some refactoring
* added `scan` command

Remove unused functions le32toh, le24toh, hextobinstring, binarraytobinstring, print_hex, print_hex_break, sprint_hex_ascii, sprint_ascii, SwapEndian64ex (#667)

* Remove unused method le32toh.
* Delete unused function le24toh
* Remove unused functions hextobinstring, binarraytobinstring
* Remove unused functions print_hex, print_hex_break
* Delete unused functions sprint_hex_ascii, sprint_ascii
* Remove unused function SwapEndian64ex

Update changelog and fix build error  (#674)

* Update CHANGELOG.md

fpgaloader: fix function accordingly to #669 (#673)

FpgaSetupSscDma uses uint16_t and not int with #669

 rework iso14443b device functions including FPGA I/Q signal transfer (#669)

* rework iso14443b device functions
* hf_read_rx_xcorr.v: transfer i/q pair in one 16bit frame
* hi_read_tx.v: invert ssp_dout. When nothing is transferred (ssp_dout=0), this results in no modulation (carrier on)
* adjust arm sources accordingly
* iso14443b.c: switch off carrier after hf 14b sri512read and hf 14b srix4kread
* iso14443b.c: fix DMA circular buffer handling

added changelog

small fixes in helps

add terminal decision to `genac` and small fixes

added CDA transaction to `hf emv genac`

added `intauth` and `genac` commands. works.

small fix

`hf emv challenge` works

`hf emv readrec` works and some changes in help

`hf emv gpo` works

added new functions to `hf emv`

`hf emv pse` and sketch for the other commands

delete old help

`hf emv select` some refactoring

`hf emv select`

move `hf emv search` to argtable

Allow clean Legic simulation exit without button press (#668)

Legic Tag Simulator (#666)

* FPGA Hi-Simulate: Formatted code
* FPGA Hi-Simulate: Fixed documantation
* FPGA Hi-Simulate: Freed up 4 LUTs
* FPGA Hi-Simulate: Added 212kHz SSP-Clock option
* Legic: Moved card simulator into separate file & cleaned interface.
Reader and card simulation have almost no common code. Moreover the sim
uses an SSP Clock at 212kHz for all timings to prevent any drifting from
the PRNG. This clock speed is not available in reader simulation mode (SSP
runs at up to 3.4MHz, and changes speed between TX and RX). For these
reasons having the code in separate files makes it significantly cleaner.
* Legic: Implemented RX and TX for card simulation
* Legic: Implemented setup phase for card simulation
* Legic: Implemented read command for card simulation
* Legic: Implemented write command for card simulation

implement argtable in hf 14a apdu (#490)

* added `hf 14a reader` to source and added functionality to exec empty commands
* added `hf 14a raw`
* added samples to command's help
* added some help
* added changelog
* update to new argtable3 --- https://github.com/argtable/argtable3
* changed included getopt to `https://github.com/freebsd/freebsd/blob/master/include/getopt.h` (getopt from freebsd with simplified BSD license)

update travis config (#662)

Merge pull request #649 from grauerfuchs/master

client: lf hid - parity completed, native long-tag support in pack/unpack/clone

Add Smartcard functions (RDV4.0) (#646)

* allow common makefile options-defines

* remove non-existing file references

* Uncomment lcd option (still) not enabled by default

use Makefile_Enabled_Options.common
to enable lcd if desired.

* Add Smartcard Functions

* add smartcard to menu + make get atr work

sc is now functioning as far as my limited knowledge takes me

* sc cleanup - add init to all sc commands...

because cmds won't work until the first init happens.  (multiple inits
don't appear to affect it negatively)

* default options to exclude Smartcard

for main repo

* update changelog

Legic: fixed write (#655)

Due to an oversight the bytes to be written were fetched
from the wrong location. This is fixed now.

Legic: rewrite reader to use xcorrelation and precise timing (#654)

* Legic: rewrite reader to use xcorrelation and precise timing
 - Even tough Legic tags transmit just AM, receiving using
   xcorrelation results in a significantly better signal
   quality.
 - Switching from bit bang to a hardware based ssc frees
   up CPU time for other tasks e.g. prng and demodulation
 - Having all times based on a fixed ts, results in perfect
   rwd-tag synchronization without magic +/- calculations.
* hi_read_tx: remove jerry-riged hysteresis based receiver
- This feature got obsolete by a x-correlation based receiver.
* Legic: adjusted sampling to new ssp clock speed
- Sampling is 4 times faster and pipeline daly reduced to 1/4.
 The new code samples each bit earyler to account for the
 shorter pipeline. That introduced bit errors by leeking the
 next bit into the current one.
* Legic: average 8 samples for better noise rejection.
* Update CHANGELOG.md

Adding native support for HID long-format
    Removal of "l" flag for long writes; not needed anymore.
    Added HID Corporate 1000 48-bit format to known formats list
    Simulation not yet updated; need to modify ARM commands to support it
    Completed parity support on all included HID formats

ISO15693 device side improvements (#652)

* ISO15693 device side improvements
* increase accuracy by doubling the sample frequency (hi_read_rx_xcorr.v)
* adjust armsrc/iso15693.c and client/cmdhf15.c accordingly
* use more accurate approximation for sqrt(ci^2 + cq^2)
* improve EOF detection (was often mistaken for Logic0, resulting in "error, uneven octet! (extra bits!)")
* hi_read_r_xcorr.v: avoid overflows during accumulation and truncation
* explicitely cast unsigned ADC samples to signed

some cards need to have Le=0x00, some need to not have... (#651)

fix: 32bit tick timer based on TC0 and TC1 (#653)

TC1 counts the number of TC0 overflows (carry bits).
In random conditions TC1 would return or stay at zero,
instead of counting up. This due to the behavior of the
reset signal.

SAM7S Series Datasheet, 33.5.6 Trigger:
Regardless of the trigger used, it will be taken into account
at the following active edge of the selected clock. This means
that the counter value can be read differently from zero just
after a trigger, especially when a low frequency signal is
selected as the clock.

The new code first prepares TC1 and asserts TC1 trigger and
then prepares TC0 and asserts TC0 trigger. The TC0 start-up
will reset TC1.

Bootrom version fix + .gitignore (#645)

* Fix bootrom Makefile

* Add armsrc/fpga_version_info.c to .gitignore

fix option comments to be more clear

Separate WITH_LF and WITH_LF_StandAlone

mod hw version: (#631)

* create fpga version info at compile time (by additional functionality in fpgacompress)
* remove hw version caching (prepare USB reconnect)
* fix calculation of available compressed bytes in fpga_loader.c

allow common makefile options-defines (#635)

Merge pull request #638 from grauerfuchs/master

fix truncation issue on "lf t55 config d"

fix truncation issue on "lf t55 config" modulation

Fix for issue #637

Adds `lf hid pack` and `lf hid unpack` offline commands. (#614)

* These are used to pack and unpack the bit length, facility code and card number from "short" HID Prox IDs.
* This also simplifies some repeated code that is used to parse hex digits in lfhid, and adds basic client-side validation to the `lf hid clone` and `lf hid sim` commands, for when an ID that is too long is entered.
* Implements parity checks/calculation for 26-bit H10301 cards.
* Adds links to useful resources for HID Prox cards.
* Adds an explicit warning about the lack of parities on non-26-bit cards.
* Changes all the examples to use 26-bit IDs that have a parity bit set.

save 2.3K flash-memory by avoiding a single floating point operation (#630)

Fix Gcc 8 warnings (#632)

fix: array index out of range in mfkeys.log (thanks to @TomHarkness)

Allow disabling unlink() with -DNO_UNLINK. (#625)

Ignore DS_Store (#620)

Prevent further commits containing DS_Store files

Code cleanup (#616)

* coverity fixes (including a real bug in cmdhftopaz.c)
* Typo fix
* replace TRUE/FALSE by stdbool true/false

Fixes a double-free issue in CloseProxmark: (#617)

- CloseProxmark now clears global state.

- CloseProxmark now checks for a non-null serial_port before calling uart_close, to avoid unintentional double-free'ing serial_port.

- main now calls CloseProxmark once.

USB comms: part 4 towards @micolous PR #463

* make uart_communication(), storeCommand() and getCommand() static in comms.c
* move receiver thread creation and respective mutexes to comms.c
* add mutex and signal for tx buffer
* use comms.c for flasher as well
* remove comm functions from client/proxmark3.h
* this completes isolating all USB communication related functions in comms.c
* don't assume a port to be defined by a name. Change parameter in OpenProxmark() to void*
* comms.c: set sp and serial_port_name to NULL when offline

Delete .DS_Store (#613)

Mac hidden file accidentally merged in PR #593.

Added mifarePlus.lua script for communication with Mifare Plus. (#593)

Personalize MifarePlus EV1 cards

fix gui (plot) bugs (#604)

G keypress event would cause a crash if no data
Q keypress didn't work.

Thanks to @iceman1001 for identifying and providing the fixes.

fix HitagS simulation erors (issue #605) (#606)

rework of GetFromBigBuf() (#597)

* this should fix crashes reported in issue #497
* don't allow receiver thread to write directly into arbitrary main thread's memory
* instead use cmdBuffer[] for CMD_DOWNLOADED_RAW_ADC_SAMPLES_125K as well
* add timeout and warning options to GetFromBigBuf(), same as in WaitForResponseTimeoutW()
* move GetFromBigBuf() from data.c to comms.c
* remove data.c and data.h

Merge pull request #600 from marshmellow42/master

more graceful exit to lf search if no signal found

more graceful exit to lf search if no signal found

Update CHANGELOG.md

Change driver file proxmark3.inf to support both old and new Vendor/Product IDs

(see http://www.proxmark.org/forum/viewtopic.php?pid=32072#p32072)

fix bug if -DWITH_ISO14443a_StandAlone is removed from makefile (#598)

USB comms: part 3 towards @micolous PR#463

* change variable 'sp' from global to static
* move code to open and close USB port to comms.c (OpenProxmark() and CloseProxmark())
* change scope of USBCommandReceived() to static
* (flasher still unchanged)

USB comms: part 2 towards @micolous PR#463 (#595)

* change variable 'offline' from global to static
* change variable 'FlushAfterWrite' from global to static
* remove unused global variable 'current_command'
* WaitForResponseTimeoutW(CMD_UNKNOWN, ...) waits for any command
* #include "printf.h" or <stdio.h> in iso15693tools.c to define sprintf()
* and some minor changes/comments

Fix for swapped parity when using lf_bulk_program.lua (#591)

USB comm: prepare for @micolous change (PR#463) (#587)

* move communication related code from proxmark3.c and cmdmain.c to new file comms.c
* replace byte_t by uint8_t in uart_posix.c and uart_win32.c
* move OpenProxmark() and CloseProxmark() from flasher.c to flash.c
* move print_lock mutex including initializer to ui.c
* minor changes in printing help texts
* no changes in comms functionality yet

add: save and load options in hf list (#577)

Fix empty key list bug in mfkeys.lua (#579)

When input key list size is greater than 85, table.concat() returns empty because the last parameter is the end offset not the increment value.

Merge pull request #589 from Proxmark/revert-588-indala-preamble-fix

Revert "Fix offset Indala UID display"

Revert "Fix offset Indala UID display"

Merge pull request #588 from megabug/indala-preamble-fix

Fix offset Indala UID display

Fix offset Indala UID display

Commit 1dae9811f22b7f2cea340cee6945cb349046129d extended the amount of
fixed bits searched for when decoding 64-bit Indala. These additional
bits come from the end of one UID, and therefore need to be skipped past
when actually retrieving the UID.

mfu read block: retry block with bad CRC (#584)

* mfu read block: retry block with bad CRC, command timeout, or unknown response.

OSX: Multiple libedit/readline fixes (#585)

* OSX: Multiple libedit/readline fixes.

Merge pull request #580 from Proxmark/iceman1001-patch-1

Update README.md

Update README.md

Added hackerwarehouse

Merge pull request #578 from Tom5ive/master

fix for swapped parity bits

fix for swapped parity bits

Merge pull request #565 from Proxcloud/usb_android

Allow non-root access on Android devices

Merge pull request #572 from merlokk/hflistms_fix

`hf list mf` fix key length in printf

small fix

small fix `hf list mf`

Merge pull request #571 from merlokk/hf_list_mf

added command `hf list mf`

Merge pull request #570 from marshmellow42/master

improve lf cmdread

update changelog

+fix a comment typo
+ move clear bigbuf after fpgadownloadandgo...

small fix and added line to changelog.

move annotate* functions

added hardnested sketch. final cleaning.

nested works

code cleaning

check parity works

added parity check of deciphered command

small fix

added cipherstream recovery

move ks to authdata

reconfigure lf cmdread ...

to use lf config settings instead of it's own settings.  (now allows
full options of lf config...)

also it will now run `data samples` when the command completes making it
not necessary to run manually...

note: adjusted client wait message as it was confusing.

added some cone in nested. not tested.

added destroy

mock of key checking

added mock of key check

hf list mf 1st auth works

small fix util.c

fix appearance