mirror of
https://gitlab.gnome.org/GNOME/libxml2.git
synced 2024-10-26 12:25:09 +03:00
html: Test tokenizer against html5lib test suite
This commit is contained in:
Nick Wellnhofer
parent
27752f75ca
commit
c6af101728
27
result/html-tokenizer/NOTICE
Normal file
27
result/html-tokenizer/NOTICE
Normal file
@ -0,0 +1,27 @@
|
|||||||
|
The test cases in this directory are derived from the html5lib test
|
||||||
|
suite available from https://github.com/html5lib/html5lib-tests under
|
||||||
|
the following license:
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
Copyright (c) 2006-2013 James Graham, Geoffrey Sneddon, and
|
||||||
|
other contributors
|
||||||
|
|
||||||
|
Permission is hereby granted, free of charge, to any person obtaining
|
||||||
|
a copy of this software and associated documentation files (the
|
||||||
|
"Software"), to deal in the Software without restriction, including
|
||||||
|
without limitation the rights to use, copy, modify, merge, publish,
|
||||||
|
distribute, sublicense, and/or sell copies of the Software, and to
|
||||||
|
permit persons to whom the Software is furnished to do so, subject to
|
||||||
|
the following conditions:
|
||||||
|
|
||||||
|
The above copyright notice and this permission notice shall be
|
||||||
|
included in all copies or substantial portions of the Software.
|
||||||
|
|
||||||
|
THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
|
||||||
|
EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
|
||||||
|
MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
|
||||||
|
NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE
|
||||||
|
LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION
|
||||||
|
OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION
|
||||||
|
WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
|
||||||
96
result/html-tokenizer/contentModelFlags.test
Normal file
96
result/html-tokenizer/contentModelFlags.test
Normal file
@ -0,0 +1,96 @@
|
|||||||
|
0
|
||||||
|
Character
|
||||||
|
<head>&body;
|
||||||
|
1
|
||||||
|
Character
|
||||||
|
</plaintext>&body;
|
||||||
|
2
|
||||||
|
Character
|
||||||
|
foo
|
||||||
|
EndTag
|
||||||
|
xmp
|
||||||
|
3
|
||||||
|
Character
|
||||||
|
foo
|
||||||
|
EndTag
|
||||||
|
xmp
|
||||||
|
4
|
||||||
|
Character
|
||||||
|
foo
|
||||||
|
EndTag
|
||||||
|
xmp
|
||||||
|
5
|
||||||
|
Character
|
||||||
|
foo
|
||||||
|
EndTag
|
||||||
|
xmp
|
||||||
|
6
|
||||||
|
Character
|
||||||
|
foo
|
||||||
|
7
|
||||||
|
Character
|
||||||
|
foo
|
||||||
|
8
|
||||||
|
Character
|
||||||
|
foo</xmp
|
||||||
|
9
|
||||||
|
Character
|
||||||
|
foo</xmp
|
||||||
|
10
|
||||||
|
Character
|
||||||
|
foo
|
||||||
|
11
|
||||||
|
Character
|
||||||
|
foo
|
||||||
|
12
|
||||||
|
Character
|
||||||
|
foo</xmp<
|
||||||
|
13
|
||||||
|
Character
|
||||||
|
foo</xmp<
|
||||||
|
14
|
||||||
|
Character
|
||||||
|
</foo>bar
|
||||||
|
EndTag
|
||||||
|
xmp
|
||||||
|
15
|
||||||
|
Character
|
||||||
|
</foo>bar
|
||||||
|
EndTag
|
||||||
|
xmp
|
||||||
|
16
|
||||||
|
Character
|
||||||
|
</xmp</xmp
|
||||||
|
EndTag
|
||||||
|
xmp
|
||||||
|
17
|
||||||
|
Character
|
||||||
|
</xmp</xmp
|
||||||
|
EndTag
|
||||||
|
xmp
|
||||||
|
18
|
||||||
|
Character
|
||||||
|
</foo>bar</xmpaar>
|
||||||
|
19
|
||||||
|
Character
|
||||||
|
</foo>bar</xmpaar>
|
||||||
|
20
|
||||||
|
Character
|
||||||
|
foo
|
||||||
|
EndTag
|
||||||
|
xmp
|
||||||
|
EndTag
|
||||||
|
baz
|
||||||
|
21
|
||||||
|
Character
|
||||||
|
foo
|
||||||
|
EndTag
|
||||||
|
xmp
|
||||||
|
EndTag
|
||||||
|
baz
|
||||||
|
22
|
||||||
|
Character
|
||||||
|
&foo;
|
||||||
|
23
|
||||||
|
Character
|
||||||
|
<
|
||||||
190
result/html-tokenizer/domjs.test
Normal file
190
result/html-tokenizer/domjs.test
Normal file
@ -0,0 +1,190 @@
|
|||||||
|
0
|
||||||
|
Comment
|
||||||
|
?
|
||||||
|
|
||||||
|
1
|
||||||
|
Comment
|
||||||
|
?
|
||||||
|
|
||||||
|
2
|
||||||
|
Comment
|
||||||
|
?
|
||||||
|
|
||||||
|
|
||||||
|
3
|
||||||
|
Character
|
||||||
|
<EFBFBD>
|
||||||
|
4
|
||||||
|
Character
|
||||||
|
<EFBFBD>
|
||||||
|
5
|
||||||
|
Character
|
||||||
|
<EFBFBD>
|
||||||
|
6
|
||||||
|
Character
|
||||||
|
<EFBFBD>
|
||||||
|
7
|
||||||
|
Character
|
||||||
|
<!--test<73>--><!--test-<2D>--><!--test--<2D>-->
|
||||||
|
8
|
||||||
|
Character
|
||||||
|
<!--<script><3E>--><!--<script>-<2D>--><!--<script>--<2D>-->
|
||||||
|
9
|
||||||
|
Character
|
||||||
|
<!--test
|
||||||
|
10
|
||||||
|
Character
|
||||||
|
<!--test-
|
||||||
|
11
|
||||||
|
Character
|
||||||
|
<!--test--
|
||||||
|
12
|
||||||
|
Character
|
||||||
|
<!--<script>-
|
||||||
|
13
|
||||||
|
Character
|
||||||
|
<!--<script>--
|
||||||
|
14
|
||||||
|
Character
|
||||||
|
<!--<script>
|
||||||
|
15
|
||||||
|
Character
|
||||||
|
<!-- - -->
|
||||||
|
16
|
||||||
|
Character
|
||||||
|
<!-- -< -->
|
||||||
|
17
|
||||||
|
Character
|
||||||
|
<!--test--->
|
||||||
|
18
|
||||||
|
Character
|
||||||
|
<!--
|
||||||
|
EndTag
|
||||||
|
script
|
||||||
|
Character
|
||||||
|
-->
|
||||||
|
EndTag
|
||||||
|
script
|
||||||
|
19
|
||||||
|
Character
|
||||||
|
<!-- <script></script> -->
|
||||||
|
EndTag
|
||||||
|
script
|
||||||
|
20
|
||||||
|
Character
|
||||||
|
<!-- <script><script></script>
|
||||||
|
EndTag
|
||||||
|
script
|
||||||
|
Character
|
||||||
|
-->
|
||||||
|
EndTag
|
||||||
|
script
|
||||||
|
21
|
||||||
|
Character
|
||||||
|
<!-- <script>-->
|
||||||
|
EndTag
|
||||||
|
script
|
||||||
|
Character
|
||||||
|
-->
|
||||||
|
EndTag
|
||||||
|
script
|
||||||
|
22
|
||||||
|
Character
|
||||||
|
<!--<scrip>
|
||||||
|
EndTag
|
||||||
|
script
|
||||||
|
Character
|
||||||
|
-->
|
||||||
|
23
|
||||||
|
Character
|
||||||
|
<!--<script
|
||||||
|
EndTag
|
||||||
|
script
|
||||||
|
Character
|
||||||
|
-->
|
||||||
|
24
|
||||||
|
Character
|
||||||
|
<!--<script></scrip>-->
|
||||||
|
25
|
||||||
|
Character
|
||||||
|
<!--<script></script-->
|
||||||
|
26
|
||||||
|
Character
|
||||||
|
foobar
|
||||||
|
27
|
||||||
|
Character
|
||||||
|
foobar
|
||||||
|
28
|
||||||
|
Character
|
||||||
|
foobar
|
||||||
|
29
|
||||||
|
Character
|
||||||
|
foobar
|
||||||
|
30
|
||||||
|
Character
|
||||||
|
≂̸
|
||||||
|
31
|
||||||
|
Character
|
||||||
|
&NotEqualTild;
|
||||||
|
32
|
||||||
|
EndTag
|
||||||
|
xmp
|
||||||
|
33
|
||||||
|
EndTag
|
||||||
|
xmp
|
||||||
|
34
|
||||||
|
EndTag
|
||||||
|
xmp
|
||||||
|
35
|
||||||
|
Character
|
||||||
|
</ XMP>
|
||||||
|
36
|
||||||
|
Character
|
||||||
|
</ XMP>
|
||||||
|
37
|
||||||
|
Character
|
||||||
|
</ XMP>
|
||||||
|
38
|
||||||
|
Character
|
||||||
|
</xm>
|
||||||
|
39
|
||||||
|
Character
|
||||||
|
</xm>
|
||||||
|
40
|
||||||
|
Character
|
||||||
|
</xm>
|
||||||
|
41
|
||||||
|
Character
|
||||||
|
</xm
|
||||||
|
42
|
||||||
|
Character
|
||||||
|
</xm
|
||||||
|
43
|
||||||
|
Character
|
||||||
|
</xm
|
||||||
|
44
|
||||||
|
Character
|
||||||
|
</xm/
|
||||||
|
45
|
||||||
|
Character
|
||||||
|
</xm/
|
||||||
|
46
|
||||||
|
Character
|
||||||
|
</xm/
|
||||||
|
47
|
||||||
|
StartTag
|
||||||
|
p id=≂̸
|
||||||
|
48
|
||||||
|
Comment
|
||||||
|
--!<21>
|
||||||
|
49
|
||||||
|
DOCTYPE
|
||||||
|
html
|
||||||
|
<none>
|
||||||
|
<none>
|
||||||
|
50
|
||||||
|
Comment
|
||||||
|
[CDATA[foo]]
|
||||||
|
51
|
||||||
|
Character
|
||||||
|
<b>hello world</b>
|
||||||
240
result/html-tokenizer/entities.test
Normal file
240
result/html-tokenizer/entities.test
Normal file
@ -0,0 +1,240 @@
|
|||||||
|
0
|
||||||
|
StartTag
|
||||||
|
h a=¬i;
|
||||||
|
1
|
||||||
|
StartTag
|
||||||
|
h a=&lang=
|
||||||
|
2
|
||||||
|
StartTag
|
||||||
|
h a=¬=
|
||||||
|
3
|
||||||
|
StartTag
|
||||||
|
h a=¬i;
|
||||||
|
4
|
||||||
|
StartTag
|
||||||
|
h a=&lang=
|
||||||
|
5
|
||||||
|
StartTag
|
||||||
|
h a=¬=
|
||||||
|
6
|
||||||
|
StartTag
|
||||||
|
h a=¬i;
|
||||||
|
7
|
||||||
|
StartTag
|
||||||
|
h a=&lang=
|
||||||
|
8
|
||||||
|
StartTag
|
||||||
|
h a=¬=
|
||||||
|
9
|
||||||
|
Character
|
||||||
|
&rrrraannddom;
|
||||||
|
10
|
||||||
|
Character
|
||||||
|
¬i;
|
||||||
|
11
|
||||||
|
Character
|
||||||
|
&ammmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmp;
|
||||||
|
12
|
||||||
|
Character
|
||||||
|
|
||||||
|
13
|
||||||
|
Character
|
||||||
|
|
||||||
|
14
|
||||||
|
Character
|
||||||
|
€
|
||||||
|
15
|
||||||
|
Character
|
||||||
|
|
||||||
|
16
|
||||||
|
Character
|
||||||
|
‚
|
||||||
|
17
|
||||||
|
Character
|
||||||
|
ƒ
|
||||||
|
18
|
||||||
|
Character
|
||||||
|
„
|
||||||
|
19
|
||||||
|
Character
|
||||||
|
…
|
||||||
|
20
|
||||||
|
Character
|
||||||
|
†
|
||||||
|
21
|
||||||
|
Character
|
||||||
|
‡
|
||||||
|
22
|
||||||
|
Character
|
||||||
|
ˆ
|
||||||
|
23
|
||||||
|
Character
|
||||||
|
‰
|
||||||
|
24
|
||||||
|
Character
|
||||||
|
Š
|
||||||
|
25
|
||||||
|
Character
|
||||||
|
‹
|
||||||
|
26
|
||||||
|
Character
|
||||||
|
Œ
|
||||||
|
27
|
||||||
|
Character
|
||||||
|
|
||||||
|
28
|
||||||
|
Character
|
||||||
|
Ž
|
||||||
|
29
|
||||||
|
Character
|
||||||
|
|
||||||
|
30
|
||||||
|
Character
|
||||||
|
|
||||||
|
31
|
||||||
|
Character
|
||||||
|
‘
|
||||||
|
32
|
||||||
|
Character
|
||||||
|
’
|
||||||
|
33
|
||||||
|
Character
|
||||||
|
“
|
||||||
|
34
|
||||||
|
Character
|
||||||
|
”
|
||||||
|
35
|
||||||
|
Character
|
||||||
|
•
|
||||||
|
36
|
||||||
|
Character
|
||||||
|
–
|
||||||
|
37
|
||||||
|
Character
|
||||||
|
—
|
||||||
|
38
|
||||||
|
Character
|
||||||
|
˜
|
||||||
|
39
|
||||||
|
Character
|
||||||
|
™
|
||||||
|
40
|
||||||
|
Character
|
||||||
|
š
|
||||||
|
41
|
||||||
|
Character
|
||||||
|
›
|
||||||
|
42
|
||||||
|
Character
|
||||||
|
œ
|
||||||
|
43
|
||||||
|
Character
|
||||||
|
|
||||||
|
44
|
||||||
|
Character
|
||||||
|
€
|
||||||
|
45
|
||||||
|
Character
|
||||||
|
|
||||||
|
46
|
||||||
|
Character
|
||||||
|
‚
|
||||||
|
47
|
||||||
|
Character
|
||||||
|
ƒ
|
||||||
|
48
|
||||||
|
Character
|
||||||
|
„
|
||||||
|
49
|
||||||
|
Character
|
||||||
|
…
|
||||||
|
50
|
||||||
|
Character
|
||||||
|
†
|
||||||
|
51
|
||||||
|
Character
|
||||||
|
‡
|
||||||
|
52
|
||||||
|
Character
|
||||||
|
ˆ
|
||||||
|
53
|
||||||
|
Character
|
||||||
|
‰
|
||||||
|
54
|
||||||
|
Character
|
||||||
|
Š
|
||||||
|
55
|
||||||
|
Character
|
||||||
|
‹
|
||||||
|
56
|
||||||
|
Character
|
||||||
|
Œ
|
||||||
|
57
|
||||||
|
Character
|
||||||
|
|
||||||
|
58
|
||||||
|
Character
|
||||||
|
Ž
|
||||||
|
59
|
||||||
|
Character
|
||||||
|
|
||||||
|
60
|
||||||
|
Character
|
||||||
|
|
||||||
|
61
|
||||||
|
Character
|
||||||
|
‘
|
||||||
|
62
|
||||||
|
Character
|
||||||
|
’
|
||||||
|
63
|
||||||
|
Character
|
||||||
|
“
|
||||||
|
64
|
||||||
|
Character
|
||||||
|
”
|
||||||
|
65
|
||||||
|
Character
|
||||||
|
•
|
||||||
|
66
|
||||||
|
Character
|
||||||
|
–
|
||||||
|
67
|
||||||
|
Character
|
||||||
|
—
|
||||||
|
68
|
||||||
|
Character
|
||||||
|
˜
|
||||||
|
69
|
||||||
|
Character
|
||||||
|
™
|
||||||
|
70
|
||||||
|
Character
|
||||||
|
š
|
||||||
|
71
|
||||||
|
Character
|
||||||
|
›
|
||||||
|
72
|
||||||
|
Character
|
||||||
|
œ
|
||||||
|
73
|
||||||
|
Character
|
||||||
|
|
||||||
|
74
|
||||||
|
Character
|
||||||
|
ž
|
||||||
|
75
|
||||||
|
Character
|
||||||
|
Ÿ
|
||||||
|
76
|
||||||
|
Character
|
||||||
|
aa
|
||||||
|
77
|
||||||
|
Character
|
||||||
|
aA
|
||||||
|
78
|
||||||
|
Character
|
||||||
|
af
|
||||||
|
79
|
||||||
|
Character
|
||||||
|
aF
|
||||||
65
result/html-tokenizer/escapeFlag.test
Normal file
65
result/html-tokenizer/escapeFlag.test
Normal file
@ -0,0 +1,65 @@
|
|||||||
|
0
|
||||||
|
Character
|
||||||
|
foo<!--
|
||||||
|
EndTag
|
||||||
|
xmp
|
||||||
|
Character
|
||||||
|
-->
|
||||||
|
EndTag
|
||||||
|
xmp
|
||||||
|
1
|
||||||
|
Character
|
||||||
|
foo<!--
|
||||||
|
EndTag
|
||||||
|
xmp
|
||||||
|
Character
|
||||||
|
-->
|
||||||
|
EndTag
|
||||||
|
xmp
|
||||||
|
2
|
||||||
|
Character
|
||||||
|
foo<!-->baz
|
||||||
|
EndTag
|
||||||
|
xmp
|
||||||
|
3
|
||||||
|
Character
|
||||||
|
foo<!-->baz
|
||||||
|
EndTag
|
||||||
|
xmp
|
||||||
|
4
|
||||||
|
Character
|
||||||
|
foo<!-->
|
||||||
|
EndTag
|
||||||
|
xmp
|
||||||
|
Comment
|
||||||
|
|
||||||
|
Character
|
||||||
|
baz
|
||||||
|
EndTag
|
||||||
|
xmp
|
||||||
|
5
|
||||||
|
Character
|
||||||
|
foo<!-->
|
||||||
|
EndTag
|
||||||
|
xmp
|
||||||
|
Comment
|
||||||
|
|
||||||
|
Character
|
||||||
|
baz
|
||||||
|
EndTag
|
||||||
|
xmp
|
||||||
|
6
|
||||||
|
Character
|
||||||
|
& <!-- & --> &
|
||||||
|
EndTag
|
||||||
|
xmp
|
||||||
|
7
|
||||||
|
Character
|
||||||
|
foo<!-- x --x>x-- >x--!>x--<>
|
||||||
|
EndTag
|
||||||
|
xmp
|
||||||
|
8
|
||||||
|
Character
|
||||||
|
foo<!-- x --x>x-- >x--!>x--<>
|
||||||
|
EndTag
|
||||||
|
xmp
|
||||||
12631
result/html-tokenizer/namedEntities.test
Normal file
12631
result/html-tokenizer/namedEntities.test
Normal file
File diff suppressed because it is too large
Load Diff
1009
result/html-tokenizer/numericEntities.test
Normal file
1009
result/html-tokenizer/numericEntities.test
Normal file
File diff suppressed because it is too large
Load Diff
3
result/html-tokenizer/pendingSpecChanges.test
Normal file
3
result/html-tokenizer/pendingSpecChanges.test
Normal file
@ -0,0 +1,3 @@
|
|||||||
|
0
|
||||||
|
Comment
|
||||||
|
-- >
|
||||||
231
result/html-tokenizer/test1.test
Normal file
231
result/html-tokenizer/test1.test
Normal file
@ -0,0 +1,231 @@
|
|||||||
|
0
|
||||||
|
DOCTYPE
|
||||||
|
html
|
||||||
|
<none>
|
||||||
|
<none>
|
||||||
|
1
|
||||||
|
DOCTYPE
|
||||||
|
html
|
||||||
|
<none>
|
||||||
|
<none>
|
||||||
|
2
|
||||||
|
DOCTYPE
|
||||||
|
html
|
||||||
|
<none>
|
||||||
|
<none>
|
||||||
|
3
|
||||||
|
DOCTYPE
|
||||||
|
html
|
||||||
|
<none>
|
||||||
|
<none>
|
||||||
|
4
|
||||||
|
Comment
|
||||||
|
DOC
|
||||||
|
5
|
||||||
|
DOCTYPE
|
||||||
|
foo
|
||||||
|
<none>
|
||||||
|
<none>
|
||||||
|
6
|
||||||
|
StartTag
|
||||||
|
h
|
||||||
|
7
|
||||||
|
8
|
||||||
|
Character
|
||||||
|
<>
|
||||||
|
9
|
||||||
|
StartTag
|
||||||
|
h a=b
|
||||||
|
10
|
||||||
|
StartTag
|
||||||
|
h a=b
|
||||||
|
11
|
||||||
|
StartTag
|
||||||
|
h
|
||||||
|
EndTag
|
||||||
|
h
|
||||||
|
12
|
||||||
|
StartTag
|
||||||
|
p
|
||||||
|
Character
|
||||||
|
One
|
||||||
|
StartTag
|
||||||
|
p
|
||||||
|
Character
|
||||||
|
Two
|
||||||
|
13
|
||||||
|
StartTag
|
||||||
|
h
|
||||||
|
EndTag
|
||||||
|
h
|
||||||
|
14
|
||||||
|
StartTag
|
||||||
|
h a=b c=d
|
||||||
|
15
|
||||||
|
StartTag
|
||||||
|
h a=b c=d
|
||||||
|
16
|
||||||
|
StartTag
|
||||||
|
h a=b
|
||||||
|
17
|
||||||
|
Comment
|
||||||
|
comment
|
||||||
|
18
|
||||||
|
Comment
|
||||||
|
-
|
||||||
|
19
|
||||||
|
Comment
|
||||||
|
--comment
|
||||||
|
20
|
||||||
|
Comment
|
||||||
|
<!
|
||||||
|
21
|
||||||
|
Comment
|
||||||
|
comment
|
||||||
|
22
|
||||||
|
Comment
|
||||||
|
<!
|
||||||
|
23
|
||||||
|
Comment
|
||||||
|
-
|
||||||
|
24
|
||||||
|
Comment
|
||||||
|
|
||||||
|
25
|
||||||
|
Comment
|
||||||
|
|
||||||
|
26
|
||||||
|
Comment
|
||||||
|
|
||||||
|
27
|
||||||
|
Comment
|
||||||
|
<test
|
||||||
|
28
|
||||||
|
Comment
|
||||||
|
<<
|
||||||
|
29
|
||||||
|
Comment
|
||||||
|
<!test
|
||||||
|
30
|
||||||
|
Comment
|
||||||
|
<!-test
|
||||||
|
31
|
||||||
|
Comment
|
||||||
|
<!--test
|
||||||
|
32
|
||||||
|
Comment
|
||||||
|
<<!--test
|
||||||
|
33
|
||||||
|
Character
|
||||||
|
<test-->
|
||||||
|
34
|
||||||
|
Character
|
||||||
|
<!test-->
|
||||||
|
35
|
||||||
|
Character
|
||||||
|
<!-test-->
|
||||||
|
36
|
||||||
|
Character
|
||||||
|
<!--test-->
|
||||||
|
37
|
||||||
|
Character
|
||||||
|
<!-- < test -->
|
||||||
|
38
|
||||||
|
Character
|
||||||
|
<!-- </ test -->
|
||||||
|
39
|
||||||
|
Character
|
||||||
|
<!-- <test> -->
|
||||||
|
40
|
||||||
|
Character
|
||||||
|
<!-- </test> -->
|
||||||
|
41
|
||||||
|
Character
|
||||||
|
<!--<script>-</script>-->
|
||||||
|
42
|
||||||
|
Character
|
||||||
|
<!--<script>--</script>-->
|
||||||
|
43
|
||||||
|
Character
|
||||||
|
<!--<script>---</script>-->
|
||||||
|
44
|
||||||
|
Character
|
||||||
|
<!--<script> - </script>-->
|
||||||
|
45
|
||||||
|
Character
|
||||||
|
<!--<script> -- </script>-->
|
||||||
|
46
|
||||||
|
Character
|
||||||
|
&
|
||||||
|
47
|
||||||
|
Character
|
||||||
|
&&
|
||||||
|
48
|
||||||
|
Character
|
||||||
|
&
|
||||||
|
49
|
||||||
|
Character
|
||||||
|
&f
|
||||||
|
50
|
||||||
|
Character
|
||||||
|
&#
|
||||||
|
51
|
||||||
|
Character
|
||||||
|
&#x
|
||||||
|
52
|
||||||
|
Character
|
||||||
|
I'm ¬it
|
||||||
|
53
|
||||||
|
Character
|
||||||
|
I'm ∉
|
||||||
|
54
|
||||||
|
Character
|
||||||
|
I'm ¬it
|
||||||
|
55
|
||||||
|
Character
|
||||||
|
I'm ¬in
|
||||||
|
56
|
||||||
|
Character
|
||||||
|
I'm &no
|
||||||
|
57
|
||||||
|
Character
|
||||||
|
&¬;
|
||||||
|
58
|
||||||
|
Character
|
||||||
|
$
|
||||||
|
59
|
||||||
|
Character
|
||||||
|
?
|
||||||
|
60
|
||||||
|
StartTag
|
||||||
|
h a=?
|
||||||
|
EndTag
|
||||||
|
h
|
||||||
|
61
|
||||||
|
StartTag
|
||||||
|
h a=¬x
|
||||||
|
62
|
||||||
|
StartTag
|
||||||
|
h a=¬1
|
||||||
|
63
|
||||||
|
StartTag
|
||||||
|
h a=¬i
|
||||||
|
64
|
||||||
|
StartTag
|
||||||
|
h a=©
|
||||||
|
65
|
||||||
|
StartTag
|
||||||
|
s o=& t=
|
||||||
|
66
|
||||||
|
StartTag
|
||||||
|
a a=a&
|
||||||
|
Character
|
||||||
|
foo
|
||||||
|
67
|
||||||
|
StartTag
|
||||||
|
plaintext
|
||||||
|
Character
|
||||||
|
foobar
|
||||||
|
68
|
||||||
|
StartTag
|
||||||
|
a a=f<
|
||||||
188
result/html-tokenizer/test2.test
Normal file
188
result/html-tokenizer/test2.test
Normal file
@ -0,0 +1,188 @@
|
|||||||
|
0
|
||||||
|
DOCTYPE
|
||||||
|
<none>
|
||||||
|
<none>
|
||||||
|
<none>
|
||||||
|
1
|
||||||
|
DOCTYPE
|
||||||
|
html
|
||||||
|
<none>
|
||||||
|
<none>
|
||||||
|
2
|
||||||
|
DOCTYPE
|
||||||
|
foo
|
||||||
|
<none>
|
||||||
|
<none>
|
||||||
|
3
|
||||||
|
DOCTYPE
|
||||||
|
html
|
||||||
|
-//W3C//DTD HTML Transitional 4.01//EN
|
||||||
|
<none>
|
||||||
|
4
|
||||||
|
DOCTYPE
|
||||||
|
html
|
||||||
|
<none>
|
||||||
|
<none>
|
||||||
|
5
|
||||||
|
DOCTYPE
|
||||||
|
html
|
||||||
|
|
||||||
|
<none>
|
||||||
|
6
|
||||||
|
DOCTYPE
|
||||||
|
html
|
||||||
|
x
|
||||||
|
<none>
|
||||||
|
7
|
||||||
|
DOCTYPE
|
||||||
|
html
|
||||||
|
<none>
|
||||||
|
-//W3C//DTD HTML Transitional 4.01//EN
|
||||||
|
8
|
||||||
|
DOCTYPE
|
||||||
|
html
|
||||||
|
<none>
|
||||||
|
-//W3C//DTD HTML Transitional 4.01//EN
|
||||||
|
9
|
||||||
|
DOCTYPE
|
||||||
|
html
|
||||||
|
-//W3C//DTD HTML Transitional 4.01//EN
|
||||||
|
-//W3C//DTD HTML Transitional 4.01//EN
|
||||||
|
10
|
||||||
|
DOCTYPE
|
||||||
|
html
|
||||||
|
|
||||||
|
<none>
|
||||||
|
Character
|
||||||
|
x
|
||||||
|
11
|
||||||
|
DOCTYPE
|
||||||
|
html
|
||||||
|
|
||||||
|
<none>
|
||||||
|
Character
|
||||||
|
x
|
||||||
|
12
|
||||||
|
DOCTYPE
|
||||||
|
html
|
||||||
|
foo
|
||||||
|
|
||||||
|
Character
|
||||||
|
x
|
||||||
|
13
|
||||||
|
DOCTYPE
|
||||||
|
html
|
||||||
|
foo
|
||||||
|
|
||||||
|
Character
|
||||||
|
x
|
||||||
|
14
|
||||||
|
DOCTYPE
|
||||||
|
html
|
||||||
|
<none>
|
||||||
|
<none>
|
||||||
|
15
|
||||||
|
Character
|
||||||
|
<EFBFBD>
|
||||||
|
16
|
||||||
|
Character
|
||||||
|
<EFBFBD>
|
||||||
|
17
|
||||||
|
Character
|
||||||
|
<EFBFBD>
|
||||||
|
18
|
||||||
|
Character
|
||||||
|
<EFBFBD>
|
||||||
|
19
|
||||||
|
Character
|
||||||
|
<EFBFBD><EFBFBD>
|
||||||
|
20
|
||||||
|
Character
|
||||||
|
ꯍ
|
||||||
|
21
|
||||||
|
Character
|
||||||
|
&;
|
||||||
|
22
|
||||||
|
StartTag
|
||||||
|
h a=&
|
||||||
|
23
|
||||||
|
StartTag
|
||||||
|
a<b
|
||||||
|
24
|
||||||
|
StartTag
|
||||||
|
h
|
||||||
|
25
|
||||||
|
StartTag
|
||||||
|
br
|
||||||
|
26
|
||||||
|
StartTag
|
||||||
|
br foo=bar
|
||||||
|
27
|
||||||
|
StartTag
|
||||||
|
h a=b
|
||||||
|
28
|
||||||
|
StartTag
|
||||||
|
h a=b
|
||||||
|
29
|
||||||
|
Character
|
||||||
|
</
|
||||||
|
30
|
||||||
|
Comment
|
||||||
|
1
|
||||||
|
31
|
||||||
|
Comment
|
||||||
|
?namespace
|
||||||
|
32
|
||||||
|
Comment
|
||||||
|
?foo--
|
||||||
|
33
|
||||||
|
Character
|
||||||
|
foo < bar
|
||||||
|
34
|
||||||
|
Character
|
||||||
|
<EFBFBD>
|
||||||
|
35
|
||||||
|
Comment
|
||||||
|
-x
|
||||||
|
36
|
||||||
|
Character
|
||||||
|
|
||||||
|
x
|
||||||
|
>
|
||||||
|
|
||||||
|
37
|
||||||
|
StartTag
|
||||||
|
h
|
||||||
|
38
|
||||||
|
StartTag
|
||||||
|
h a= b=
|
||||||
|
39
|
||||||
|
StartTag
|
||||||
|
h a= "=
|
||||||
|
40
|
||||||
|
StartTag
|
||||||
|
h a= '=
|
||||||
|
41
|
||||||
|
Character
|
||||||
|
abc
|
||||||
|
42
|
||||||
|
Character
|
||||||
|
a
|
||||||
|
StartTag
|
||||||
|
b
|
||||||
|
Character
|
||||||
|
c
|
||||||
|
43
|
||||||
|
Character
|
||||||
|
a
|
||||||
|
Comment
|
||||||
|
b
|
||||||
|
Character
|
||||||
|
c
|
||||||
|
44
|
||||||
|
Character
|
||||||
|
a
|
||||||
|
EndTag
|
||||||
|
b
|
||||||
|
Character
|
||||||
|
c
|
||||||
6874
result/html-tokenizer/test3.test
Normal file
6874
result/html-tokenizer/test3.test
Normal file
File diff suppressed because it is too large
Load Diff
278
result/html-tokenizer/test4.test
Normal file
278
result/html-tokenizer/test4.test
Normal file
@ -0,0 +1,278 @@
|
|||||||
|
0
|
||||||
|
StartTag
|
||||||
|
z 0= <=
|
||||||
|
1
|
||||||
|
StartTag
|
||||||
|
z x=<
|
||||||
|
2
|
||||||
|
StartTag
|
||||||
|
z z=z=z
|
||||||
|
3
|
||||||
|
StartTag
|
||||||
|
z ==
|
||||||
|
4
|
||||||
|
StartTag
|
||||||
|
z ==
|
||||||
|
5
|
||||||
|
StartTag
|
||||||
|
z ===
|
||||||
|
6
|
||||||
|
StartTag
|
||||||
|
z ====
|
||||||
|
7
|
||||||
|
StartTag
|
||||||
|
z z=&
|
||||||
|
8
|
||||||
|
StartTag
|
||||||
|
z z=&'
|
||||||
|
9
|
||||||
|
StartTag
|
||||||
|
z z=&
|
||||||
|
10
|
||||||
|
StartTag
|
||||||
|
z z=&"
|
||||||
|
11
|
||||||
|
StartTag
|
||||||
|
z z=&xlink_xmlns;
|
||||||
|
Character
|
||||||
|
bar
|
||||||
|
StartTag
|
||||||
|
z
|
||||||
|
12
|
||||||
|
StartTag
|
||||||
|
z z= foo
|
||||||
|
Character
|
||||||
|
bar
|
||||||
|
StartTag
|
||||||
|
z
|
||||||
|
13
|
||||||
|
StartTag
|
||||||
|
foo "=bar
|
||||||
|
14
|
||||||
|
StartTag
|
||||||
|
foo '=bar
|
||||||
|
15
|
||||||
|
StartTag
|
||||||
|
foo a"b=bar
|
||||||
|
16
|
||||||
|
StartTag
|
||||||
|
foo a'b=bar
|
||||||
|
17
|
||||||
|
StartTag
|
||||||
|
foo a=b'c
|
||||||
|
18
|
||||||
|
StartTag
|
||||||
|
foo a=b"c
|
||||||
|
19
|
||||||
|
StartTag
|
||||||
|
foo a=b c=
|
||||||
|
20
|
||||||
|
StartTag
|
||||||
|
foo a=b c=
|
||||||
|
21
|
||||||
|
StartTag
|
||||||
|
br a=b
|
||||||
|
22
|
||||||
|
StartTag
|
||||||
|
bar a=b
|
||||||
|
23
|
||||||
|
DOCTYPE
|
||||||
|
html
|
||||||
|
<none>
|
||||||
|
<none>
|
||||||
|
24
|
||||||
|
25
|
||||||
|
26
|
||||||
|
Character
|
||||||
|
<EFBFBD>
|
||||||
|
27
|
||||||
|
Character
|
||||||
|
<EFBFBD>
|
||||||
|
28
|
||||||
|
Character
|
||||||
|
A
|
||||||
|
29
|
||||||
|
Character
|
||||||
|
A
|
||||||
|
30
|
||||||
|
Character
|
||||||
|
&#x &#X
|
||||||
|
31
|
||||||
|
Character
|
||||||
|
&#xZ
|
||||||
|
32
|
||||||
|
Character
|
||||||
|
&# &#;
|
||||||
|
33
|
||||||
|
Character
|
||||||
|
&#A
|
||||||
|
34
|
||||||
|
Character
|
||||||
|
𐀀
|
||||||
|
35
|
||||||
|
Character
|
||||||
|
|
||||||
|
36
|
||||||
|
Character
|
||||||
|
<EFBFBD>
|
||||||
|
37
|
||||||
|
Character
|
||||||
|
<EFBFBD>
|
||||||
|
38
|
||||||
|
Character
|
||||||
|
<EFBFBD>
|
||||||
|
39
|
||||||
|
Character
|
||||||
|
<EFBFBD>
|
||||||
|
40
|
||||||
|
Character
|
||||||
|
<EFBFBD>
|
||||||
|
41
|
||||||
|
Character
|
||||||
|
<EFBFBD>
|
||||||
|
42
|
||||||
|
Character
|
||||||
|
<EFBFBD><EFBFBD><EFBFBD><EFBFBD>
|
||||||
|
43
|
||||||
|
StartTag
|
||||||
|
x
|
||||||
|
44
|
||||||
|
EndTag
|
||||||
|
x
|
||||||
|
45
|
||||||
|
StartTag
|
||||||
|
x x=
|
||||||
|
46
|
||||||
|
StartTag
|
||||||
|
x@az[`az{ @az[`az{=
|
||||||
|
47
|
||||||
|
StartTag
|
||||||
|
x x=1
|
||||||
|
48
|
||||||
|
EndTag
|
||||||
|
x
|
||||||
|
49
|
||||||
|
EndTag
|
||||||
|
x
|
||||||
|
50
|
||||||
|
StartTag
|
||||||
|
br
|
||||||
|
51
|
||||||
|
StartTag
|
||||||
|
xr
|
||||||
|
52
|
||||||
|
EndTag
|
||||||
|
br
|
||||||
|
53
|
||||||
|
DOCTYPE
|
||||||
|
html
|
||||||
|
AbC
|
||||||
|
XyZ
|
||||||
|
54
|
||||||
|
DOCTYPE
|
||||||
|
html
|
||||||
|
aBc
|
||||||
|
xYz
|
||||||
|
55
|
||||||
|
DOCTYPE
|
||||||
|
html
|
||||||
|
<none>
|
||||||
|
XyZ
|
||||||
|
56
|
||||||
|
DOCTYPE
|
||||||
|
html
|
||||||
|
<none>
|
||||||
|
xYz
|
||||||
|
57
|
||||||
|
Comment
|
||||||
|
doc
|
||||||
|
Character
|
||||||
|
<EFBFBD>
|
||||||
|
58
|
||||||
|
Comment
|
||||||
|
doc<EFBFBD>
|
||||||
|
59
|
||||||
|
Comment
|
||||||
|
doc
|
||||||
|
60
|
||||||
|
Comment
|
||||||
|
doc
|
||||||
|
61
|
||||||
|
Comment
|
||||||
|
doc
|
||||||
|
62
|
||||||
|
Character
|
||||||
|
|
||||||
|
?
|
||||||
|
63
|
||||||
|
Character
|
||||||
|
|
||||||
|
|
||||||
|
64
|
||||||
|
Character
|
||||||
|
|
||||||
|
|
||||||
|
65
|
||||||
|
Character
|
||||||
|
|
||||||
|
|
||||||
|
66
|
||||||
|
Character
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
67
|
||||||
|
Character
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
68
|
||||||
|
Character
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
69
|
||||||
|
Character
|
||||||
|
text
|
||||||
|
|
||||||
|
|
||||||
|
text
|
||||||
|
70
|
||||||
|
DOCTYPE
|
||||||
|
html
|
||||||
|
<none>
|
||||||
|
<none>
|
||||||
|
71
|
||||||
|
DOCTYPE
|
||||||
|
html
|
||||||
|
<none>
|
||||||
|
<none>
|
||||||
|
72
|
||||||
|
DOCTYPE
|
||||||
|
html
|
||||||
|
<none>
|
||||||
|
<none>
|
||||||
|
73
|
||||||
|
DOCTYPE
|
||||||
|
html
|
||||||
|
<none>
|
||||||
|
<none>
|
||||||
|
74
|
||||||
|
DOCTYPE
|
||||||
|
html
|
||||||
|
<none>
|
||||||
|
<none>
|
||||||
|
Character
|
||||||
|
text
|
||||||
|
75
|
||||||
|
StartTag
|
||||||
|
a a=aa`
|
||||||
|
76
|
||||||
|
77
|
||||||
|
78
|
||||||
|
79
|
||||||
|
80
|
||||||
|
81
|
||||||
|
82
|
||||||
|
83
|
||||||
|
84
|
||||||
970
result/html-tokenizer/unicodeChars.test
Normal file
970
result/html-tokenizer/unicodeChars.test
Normal file
@ -0,0 +1,970 @@
|
|||||||
|
0
|
||||||
|
Character
|
||||||
|
|
||||||
|
1
|
||||||
|
Character
|
||||||
|
|
||||||
|
2
|
||||||
|
Character
|
||||||
|
|
||||||
|
3
|
||||||
|
Character
|
||||||
|
|
||||||
|
4
|
||||||
|
Character
|
||||||
|
|
||||||
|
5
|
||||||
|
Character
|
||||||
|
|
||||||
|
6
|
||||||
|
Character
|
||||||
|
|
||||||
|
7
|
||||||
|
Character
|
||||||
|
|
||||||
|
8
|
||||||
|
Character
|
||||||
|
|
||||||
|
9
|
||||||
|
Character
|
||||||
|
|
||||||
|
10
|
||||||
|
Character
|
||||||
|
|
||||||
|
11
|
||||||
|
Character
|
||||||
|
|
||||||
|
12
|
||||||
|
Character
|
||||||
|
|
||||||
|
13
|
||||||
|
Character
|
||||||
|
|
||||||
|
14
|
||||||
|
Character
|
||||||
|
|
||||||
|
15
|
||||||
|
Character
|
||||||
|
|
||||||
|
16
|
||||||
|
Character
|
||||||
|
|
||||||
|
17
|
||||||
|
Character
|
||||||
|
|
||||||
|
18
|
||||||
|
Character
|
||||||
|
|
||||||
|
19
|
||||||
|
Character
|
||||||
|
|
||||||
|
20
|
||||||
|
Character
|
||||||
|
|
||||||
|
21
|
||||||
|
Character
|
||||||
|
|
||||||
|
22
|
||||||
|
Character
|
||||||
|
|
||||||
|
23
|
||||||
|
Character
|
||||||
|
|
||||||
|
24
|
||||||
|
Character
|
||||||
|
|
||||||
|
25
|
||||||
|
Character
|
||||||
|
|
||||||
|
26
|
||||||
|
Character
|
||||||
|
|
||||||
|
27
|
||||||
|
Character
|
||||||
|
|
||||||
|
28
|
||||||
|
Character
|
||||||
|
|
||||||
|
29
|
||||||
|
Character
|
||||||
|
|
||||||
|
30
|
||||||
|
Character
|
||||||
|
|
||||||
|
31
|
||||||
|
Character
|
||||||
|
|
||||||
|
32
|
||||||
|
Character
|
||||||
|
|
||||||
|
33
|
||||||
|
Character
|
||||||
|
|
||||||
|
34
|
||||||
|
Character
|
||||||
|
|
||||||
|
35
|
||||||
|
Character
|
||||||
|
|
||||||
|
36
|
||||||
|
Character
|
||||||
|
|
||||||
|
37
|
||||||
|
Character
|
||||||
|
|
||||||
|
38
|
||||||
|
Character
|
||||||
|
|
||||||
|
39
|
||||||
|
Character
|
||||||
|
|
||||||
|
40
|
||||||
|
Character
|
||||||
|
|
||||||
|
41
|
||||||
|
Character
|
||||||
|
|
||||||
|
42
|
||||||
|
Character
|
||||||
|
|
||||||
|
43
|
||||||
|
Character
|
||||||
|
|
||||||
|
44
|
||||||
|
Character
|
||||||
|
|
||||||
|
45
|
||||||
|
Character
|
||||||
|
|
||||||
|
46
|
||||||
|
Character
|
||||||
|
|
||||||
|
47
|
||||||
|
Character
|
||||||
|
|
||||||
|
48
|
||||||
|
Character
|
||||||
|
|
||||||
|
49
|
||||||
|
Character
|
||||||
|
|
||||||
|
50
|
||||||
|
Character
|
||||||
|
|
||||||
|
51
|
||||||
|
Character
|
||||||
|
|
||||||
|
52
|
||||||
|
Character
|
||||||
|
|
||||||
|
53
|
||||||
|
Character
|
||||||
|
|
||||||
|
54
|
||||||
|
Character
|
||||||
|
|
||||||
|
55
|
||||||
|
Character
|
||||||
|
|
||||||
|
56
|
||||||
|
Character
|
||||||
|
|
||||||
|
57
|
||||||
|
Character
|
||||||
|
|
||||||
|
58
|
||||||
|
Character
|
||||||
|
|
||||||
|
59
|
||||||
|
Character
|
||||||
|
|
||||||
|
60
|
||||||
|
Character
|
||||||
|
|
||||||
|
61
|
||||||
|
Character
|
||||||
|
|
||||||
|
62
|
||||||
|
Character
|
||||||
|
|
||||||
|
63
|
||||||
|
Character
|
||||||
|
|
||||||
|
64
|
||||||
|
Character
|
||||||
|
|
||||||
|
65
|
||||||
|
Character
|
||||||
|
|
||||||
|
66
|
||||||
|
Character
|
||||||
|
|
||||||
|
67
|
||||||
|
Character
|
||||||
|
|
||||||
|
68
|
||||||
|
Character
|
||||||
|
|
||||||
|
69
|
||||||
|
Character
|
||||||
|
|
||||||
|
70
|
||||||
|
Character
|
||||||
|
|
||||||
|
71
|
||||||
|
Character
|
||||||
|
|
||||||
|
72
|
||||||
|
Character
|
||||||
|
|
||||||
|
73
|
||||||
|
Character
|
||||||
|
|
||||||
|
74
|
||||||
|
Character
|
||||||
|
|
||||||
|
75
|
||||||
|
Character
|
||||||
|
|
||||||
|
76
|
||||||
|
Character
|
||||||
|
|
||||||
|
77
|
||||||
|
Character
|
||||||
|
|
||||||
|
78
|
||||||
|
Character
|
||||||
|
|
||||||
|
79
|
||||||
|
Character
|
||||||
|
|
||||||
|
80
|
||||||
|
Character
|
||||||
|
|
||||||
|
81
|
||||||
|
Character
|
||||||
|
|
||||||
|
82
|
||||||
|
Character
|
||||||
|
|
||||||
|
83
|
||||||
|
Character
|
||||||
|
|
||||||
|
84
|
||||||
|
Character
|
||||||
|
|
||||||
|
85
|
||||||
|
Character
|
||||||
|
|
||||||
|
86
|
||||||
|
Character
|
||||||
|
|
||||||
|
87
|
||||||
|
Character
|
||||||
|
|
||||||
|
88
|
||||||
|
Character
|
||||||
|
|
||||||
|
89
|
||||||
|
Character
|
||||||
|
|
||||||
|
90
|
||||||
|
Character
|
||||||
|
|
||||||
|
91
|
||||||
|
Character
|
||||||
|
|
||||||
|
92
|
||||||
|
Character
|
||||||
|
|
||||||
|
93
|
||||||
|
Character
|
||||||
|
|
||||||
|
94
|
||||||
|
Character
|
||||||
|
|
||||||
|
95
|
||||||
|
Character
|
||||||
|
|
||||||
|
|
||||||
|
96
|
||||||
|
Character
|
||||||
|
|
||||||
|
97
|
||||||
|
Character
|
||||||
|
!
|
||||||
|
98
|
||||||
|
Character
|
||||||
|
"
|
||||||
|
99
|
||||||
|
Character
|
||||||
|
#
|
||||||
|
100
|
||||||
|
Character
|
||||||
|
$
|
||||||
|
101
|
||||||
|
Character
|
||||||
|
%
|
||||||
|
102
|
||||||
|
Character
|
||||||
|
&
|
||||||
|
103
|
||||||
|
Character
|
||||||
|
'
|
||||||
|
104
|
||||||
|
Character
|
||||||
|
(
|
||||||
|
105
|
||||||
|
Character
|
||||||
|
)
|
||||||
|
106
|
||||||
|
Character
|
||||||
|
*
|
||||||
|
107
|
||||||
|
Character
|
||||||
|
+
|
||||||
|
108
|
||||||
|
Character
|
||||||
|
,
|
||||||
|
109
|
||||||
|
Character
|
||||||
|
-
|
||||||
|
110
|
||||||
|
Character
|
||||||
|
.
|
||||||
|
111
|
||||||
|
Character
|
||||||
|
/
|
||||||
|
112
|
||||||
|
Character
|
||||||
|
0
|
||||||
|
113
|
||||||
|
Character
|
||||||
|
1
|
||||||
|
114
|
||||||
|
Character
|
||||||
|
2
|
||||||
|
115
|
||||||
|
Character
|
||||||
|
3
|
||||||
|
116
|
||||||
|
Character
|
||||||
|
4
|
||||||
|
117
|
||||||
|
Character
|
||||||
|
5
|
||||||
|
118
|
||||||
|
Character
|
||||||
|
6
|
||||||
|
119
|
||||||
|
Character
|
||||||
|
7
|
||||||
|
120
|
||||||
|
Character
|
||||||
|
8
|
||||||
|
121
|
||||||
|
Character
|
||||||
|
9
|
||||||
|
122
|
||||||
|
Character
|
||||||
|
:
|
||||||
|
123
|
||||||
|
Character
|
||||||
|
;
|
||||||
|
124
|
||||||
|
Character
|
||||||
|
=
|
||||||
|
125
|
||||||
|
Character
|
||||||
|
>
|
||||||
|
126
|
||||||
|
Character
|
||||||
|
?
|
||||||
|
127
|
||||||
|
Character
|
||||||
|
@
|
||||||
|
128
|
||||||
|
Character
|
||||||
|
A
|
||||||
|
129
|
||||||
|
Character
|
||||||
|
B
|
||||||
|
130
|
||||||
|
Character
|
||||||
|
C
|
||||||
|
131
|
||||||
|
Character
|
||||||
|
D
|
||||||
|
132
|
||||||
|
Character
|
||||||
|
E
|
||||||
|
133
|
||||||
|
Character
|
||||||
|
F
|
||||||
|
134
|
||||||
|
Character
|
||||||
|
G
|
||||||
|
135
|
||||||
|
Character
|
||||||
|
H
|
||||||
|
136
|
||||||
|
Character
|
||||||
|
I
|
||||||
|
137
|
||||||
|
Character
|
||||||
|
J
|
||||||
|
138
|
||||||
|
Character
|
||||||
|
K
|
||||||
|
139
|
||||||
|
Character
|
||||||
|
L
|
||||||
|
140
|
||||||
|
Character
|
||||||
|
M
|
||||||
|
141
|
||||||
|
Character
|
||||||
|
N
|
||||||
|
142
|
||||||
|
Character
|
||||||
|
O
|
||||||
|
143
|
||||||
|
Character
|
||||||
|
P
|
||||||
|
144
|
||||||
|
Character
|
||||||
|
Q
|
||||||
|
145
|
||||||
|
Character
|
||||||
|
R
|
||||||
|
146
|
||||||
|
Character
|
||||||
|
S
|
||||||
|
147
|
||||||
|
Character
|
||||||
|
T
|
||||||
|
148
|
||||||
|
Character
|
||||||
|
U
|
||||||
|
149
|
||||||
|
Character
|
||||||
|
V
|
||||||
|
150
|
||||||
|
Character
|
||||||
|
W
|
||||||
|
151
|
||||||
|
Character
|
||||||
|
X
|
||||||
|
152
|
||||||
|
Character
|
||||||
|
Y
|
||||||
|
153
|
||||||
|
Character
|
||||||
|
Z
|
||||||
|
154
|
||||||
|
Character
|
||||||
|
[
|
||||||
|
155
|
||||||
|
Character
|
||||||
|
\
|
||||||
|
156
|
||||||
|
Character
|
||||||
|
]
|
||||||
|
157
|
||||||
|
Character
|
||||||
|
^
|
||||||
|
158
|
||||||
|
Character
|
||||||
|
_
|
||||||
|
159
|
||||||
|
Character
|
||||||
|
`
|
||||||
|
160
|
||||||
|
Character
|
||||||
|
a
|
||||||
|
161
|
||||||
|
Character
|
||||||
|
b
|
||||||
|
162
|
||||||
|
Character
|
||||||
|
c
|
||||||
|
163
|
||||||
|
Character
|
||||||
|
d
|
||||||
|
164
|
||||||
|
Character
|
||||||
|
e
|
||||||
|
165
|
||||||
|
Character
|
||||||
|
f
|
||||||
|
166
|
||||||
|
Character
|
||||||
|
g
|
||||||
|
167
|
||||||
|
Character
|
||||||
|
h
|
||||||
|
168
|
||||||
|
Character
|
||||||
|
i
|
||||||
|
169
|
||||||
|
Character
|
||||||
|
j
|
||||||
|
170
|
||||||
|
Character
|
||||||
|
k
|
||||||
|
171
|
||||||
|
Character
|
||||||
|
l
|
||||||
|
172
|
||||||
|
Character
|
||||||
|
m
|
||||||
|
173
|
||||||
|
Character
|
||||||
|
n
|
||||||
|
174
|
||||||
|
Character
|
||||||
|
o
|
||||||
|
175
|
||||||
|
Character
|
||||||
|
p
|
||||||
|
176
|
||||||
|
Character
|
||||||
|
q
|
||||||
|
177
|
||||||
|
Character
|
||||||
|
r
|
||||||
|
178
|
||||||
|
Character
|
||||||
|
s
|
||||||
|
179
|
||||||
|
Character
|
||||||
|
t
|
||||||
|
180
|
||||||
|
Character
|
||||||
|
u
|
||||||
|
181
|
||||||
|
Character
|
||||||
|
v
|
||||||
|
182
|
||||||
|
Character
|
||||||
|
w
|
||||||
|
183
|
||||||
|
Character
|
||||||
|
x
|
||||||
|
184
|
||||||
|
Character
|
||||||
|
y
|
||||||
|
185
|
||||||
|
Character
|
||||||
|
z
|
||||||
|
186
|
||||||
|
Character
|
||||||
|
{
|
||||||
|
187
|
||||||
|
Character
|
||||||
|
|
|
||||||
|
188
|
||||||
|
Character
|
||||||
|
}
|
||||||
|
189
|
||||||
|
Character
|
||||||
|
~
|
||||||
|
190
|
||||||
|
Character
|
||||||
|
|
||||||
|
191
|
||||||
|
Character
|
||||||
|
¡
|
||||||
|
192
|
||||||
|
Character
|
||||||
|
¢
|
||||||
|
193
|
||||||
|
Character
|
||||||
|
£
|
||||||
|
194
|
||||||
|
Character
|
||||||
|
¤
|
||||||
|
195
|
||||||
|
Character
|
||||||
|
¥
|
||||||
|
196
|
||||||
|
Character
|
||||||
|
¦
|
||||||
|
197
|
||||||
|
Character
|
||||||
|
§
|
||||||
|
198
|
||||||
|
Character
|
||||||
|
¨
|
||||||
|
199
|
||||||
|
Character
|
||||||
|
©
|
||||||
|
200
|
||||||
|
Character
|
||||||
|
ª
|
||||||
|
201
|
||||||
|
Character
|
||||||
|
«
|
||||||
|
202
|
||||||
|
Character
|
||||||
|
¬
|
||||||
|
203
|
||||||
|
Character
|
||||||
|
|
||||||
|
204
|
||||||
|
Character
|
||||||
|
®
|
||||||
|
205
|
||||||
|
Character
|
||||||
|
¯
|
||||||
|
206
|
||||||
|
Character
|
||||||
|
°
|
||||||
|
207
|
||||||
|
Character
|
||||||
|
±
|
||||||
|
208
|
||||||
|
Character
|
||||||
|
²
|
||||||
|
209
|
||||||
|
Character
|
||||||
|
³
|
||||||
|
210
|
||||||
|
Character
|
||||||
|
´
|
||||||
|
211
|
||||||
|
Character
|
||||||
|
µ
|
||||||
|
212
|
||||||
|
Character
|
||||||
|
¶
|
||||||
|
213
|
||||||
|
Character
|
||||||
|
·
|
||||||
|
214
|
||||||
|
Character
|
||||||
|
¸
|
||||||
|
215
|
||||||
|
Character
|
||||||
|
¹
|
||||||
|
216
|
||||||
|
Character
|
||||||
|
º
|
||||||
|
217
|
||||||
|
Character
|
||||||
|
»
|
||||||
|
218
|
||||||
|
Character
|
||||||
|
¼
|
||||||
|
219
|
||||||
|
Character
|
||||||
|
½
|
||||||
|
220
|
||||||
|
Character
|
||||||
|
¾
|
||||||
|
221
|
||||||
|
Character
|
||||||
|
¿
|
||||||
|
222
|
||||||
|
Character
|
||||||
|
À
|
||||||
|
223
|
||||||
|
Character
|
||||||
|
Á
|
||||||
|
224
|
||||||
|
Character
|
||||||
|
Â
|
||||||
|
225
|
||||||
|
Character
|
||||||
|
Ã
|
||||||
|
226
|
||||||
|
Character
|
||||||
|
Ä
|
||||||
|
227
|
||||||
|
Character
|
||||||
|
Å
|
||||||
|
228
|
||||||
|
Character
|
||||||
|
Æ
|
||||||
|
229
|
||||||
|
Character
|
||||||
|
Ç
|
||||||
|
230
|
||||||
|
Character
|
||||||
|
È
|
||||||
|
231
|
||||||
|
Character
|
||||||
|
É
|
||||||
|
232
|
||||||
|
Character
|
||||||
|
Ê
|
||||||
|
233
|
||||||
|
Character
|
||||||
|
Ë
|
||||||
|
234
|
||||||
|
Character
|
||||||
|
Ì
|
||||||
|
235
|
||||||
|
Character
|
||||||
|
Í
|
||||||
|
236
|
||||||
|
Character
|
||||||
|
Î
|
||||||
|
237
|
||||||
|
Character
|
||||||
|
Ï
|
||||||
|
238
|
||||||
|
Character
|
||||||
|
Ð
|
||||||
|
239
|
||||||
|
Character
|
||||||
|
Ñ
|
||||||
|
240
|
||||||
|
Character
|
||||||
|
Ò
|
||||||
|
241
|
||||||
|
Character
|
||||||
|
Ó
|
||||||
|
242
|
||||||
|
Character
|
||||||
|
Ô
|
||||||
|
243
|
||||||
|
Character
|
||||||
|
Õ
|
||||||
|
244
|
||||||
|
Character
|
||||||
|
Ö
|
||||||
|
245
|
||||||
|
Character
|
||||||
|
×
|
||||||
|
246
|
||||||
|
Character
|
||||||
|
Ø
|
||||||
|
247
|
||||||
|
Character
|
||||||
|
Ù
|
||||||
|
248
|
||||||
|
Character
|
||||||
|
Ú
|
||||||
|
249
|
||||||
|
Character
|
||||||
|
Û
|
||||||
|
250
|
||||||
|
Character
|
||||||
|
Ü
|
||||||
|
251
|
||||||
|
Character
|
||||||
|
Ý
|
||||||
|
252
|
||||||
|
Character
|
||||||
|
Þ
|
||||||
|
253
|
||||||
|
Character
|
||||||
|
ß
|
||||||
|
254
|
||||||
|
Character
|
||||||
|
à
|
||||||
|
255
|
||||||
|
Character
|
||||||
|
á
|
||||||
|
256
|
||||||
|
Character
|
||||||
|
â
|
||||||
|
257
|
||||||
|
Character
|
||||||
|
ã
|
||||||
|
258
|
||||||
|
Character
|
||||||
|
ä
|
||||||
|
259
|
||||||
|
Character
|
||||||
|
å
|
||||||
|
260
|
||||||
|
Character
|
||||||
|
æ
|
||||||
|
261
|
||||||
|
Character
|
||||||
|
ç
|
||||||
|
262
|
||||||
|
Character
|
||||||
|
è
|
||||||
|
263
|
||||||
|
Character
|
||||||
|
é
|
||||||
|
264
|
||||||
|
Character
|
||||||
|
ê
|
||||||
|
265
|
||||||
|
Character
|
||||||
|
ë
|
||||||
|
266
|
||||||
|
Character
|
||||||
|
ì
|
||||||
|
267
|
||||||
|
Character
|
||||||
|
í
|
||||||
|
268
|
||||||
|
Character
|
||||||
|
î
|
||||||
|
269
|
||||||
|
Character
|
||||||
|
ï
|
||||||
|
270
|
||||||
|
Character
|
||||||
|
ð
|
||||||
|
271
|
||||||
|
Character
|
||||||
|
ñ
|
||||||
|
272
|
||||||
|
Character
|
||||||
|
ò
|
||||||
|
273
|
||||||
|
Character
|
||||||
|
ó
|
||||||
|
274
|
||||||
|
Character
|
||||||
|
ô
|
||||||
|
275
|
||||||
|
Character
|
||||||
|
õ
|
||||||
|
276
|
||||||
|
Character
|
||||||
|
ö
|
||||||
|
277
|
||||||
|
Character
|
||||||
|
÷
|
||||||
|
278
|
||||||
|
Character
|
||||||
|
ø
|
||||||
|
279
|
||||||
|
Character
|
||||||
|
ù
|
||||||
|
280
|
||||||
|
Character
|
||||||
|
ú
|
||||||
|
281
|
||||||
|
Character
|
||||||
|
û
|
||||||
|
282
|
||||||
|
Character
|
||||||
|
ü
|
||||||
|
283
|
||||||
|
Character
|
||||||
|
ý
|
||||||
|
284
|
||||||
|
Character
|
||||||
|
þ
|
||||||
|
285
|
||||||
|
Character
|
||||||
|
ÿ
|
||||||
|
286
|
||||||
|
Character
|
||||||
|
|
||||||
|
287
|
||||||
|
Character
|
||||||
|
|
||||||
|
288
|
||||||
|
Character
|
||||||
|
﷏
|
||||||
|
289
|
||||||
|
Character
|
||||||
|
ﷰ
|
||||||
|
290
|
||||||
|
Character
|
||||||
|
<EFBFBD>
|
||||||
|
291
|
||||||
|
Character
|
||||||
|
𐀀
|
||||||
|
292
|
||||||
|
Character
|
||||||
|
|
||||||
|
293
|
||||||
|
Character
|
||||||
|
𠀀
|
||||||
|
294
|
||||||
|
Character
|
||||||
|
|
||||||
|
295
|
||||||
|
Character
|
||||||
|
𰀀
|
||||||
|
296
|
||||||
|
Character
|
||||||
|
|
||||||
|
297
|
||||||
|
Character
|
||||||
|
|
||||||
|
298
|
||||||
|
Character
|
||||||
|
|
||||||
|
299
|
||||||
|
Character
|
||||||
|
|
||||||
|
300
|
||||||
|
Character
|
||||||
|
|
||||||
|
301
|
||||||
|
Character
|
||||||
|
|
||||||
|
302
|
||||||
|
Character
|
||||||
|
|
||||||
|
303
|
||||||
|
Character
|
||||||
|
|
||||||
|
304
|
||||||
|
Character
|
||||||
|
|
||||||
|
305
|
||||||
|
Character
|
||||||
|
|
||||||
|
306
|
||||||
|
Character
|
||||||
|
|
||||||
|
307
|
||||||
|
Character
|
||||||
|
|
||||||
|
308
|
||||||
|
Character
|
||||||
|
|
||||||
|
309
|
||||||
|
Character
|
||||||
|
|
||||||
|
310
|
||||||
|
Character
|
||||||
|
|
||||||
|
311
|
||||||
|
Character
|
||||||
|
|
||||||
|
312
|
||||||
|
Character
|
||||||
|
|
||||||
|
313
|
||||||
|
Character
|
||||||
|
|
||||||
|
314
|
||||||
|
Character
|
||||||
|
|
||||||
|
315
|
||||||
|
Character
|
||||||
|
|
||||||
|
316
|
||||||
|
Character
|
||||||
|
|
||||||
|
317
|
||||||
|
Character
|
||||||
|
|
||||||
|
318
|
||||||
|
Character
|
||||||
|
|
||||||
|
319
|
||||||
|
Character
|
||||||
|
|
||||||
|
320
|
||||||
|
Character
|
||||||
|
|
||||||
|
321
|
||||||
|
Character
|
||||||
|
|
||||||
|
322
|
||||||
|
Character
|
||||||
|
|
||||||
4
result/html-tokenizer/unicodeCharsProblematic.test
Normal file
4
result/html-tokenizer/unicodeCharsProblematic.test
Normal file
@ -0,0 +1,4 @@
|
|||||||
|
0
|
||||||
|
Character
|
||||||
|
|
||||||
|
<EFBFBD>
|
||||||
230
runtest.c
230
runtest.c
@ -1600,6 +1600,231 @@ done:
|
|||||||
return(ret);
|
return(ret);
|
||||||
}
|
}
|
||||||
|
|
||||||
|
#if defined(LIBXML_HTML_ENABLED) && defined(LIBXML_PUSH_ENABLED)
|
||||||
|
typedef struct {
|
||||||
|
int dataState;
|
||||||
|
int inCharacters;
|
||||||
|
const xmlChar *startTag;
|
||||||
|
} xmlTokenizerConfig;
|
||||||
|
|
||||||
|
static void
|
||||||
|
startDocumentTokenizer(void *ctx) {
|
||||||
|
xmlParserCtxtPtr ctxt = ctx;
|
||||||
|
xmlTokenizerConfig *config = ctxt->_private;
|
||||||
|
|
||||||
|
ctxt->instate = XML_PARSER_CONTENT;
|
||||||
|
|
||||||
|
if (config->dataState != 0) {
|
||||||
|
ctxt->endCheckState = config->dataState;
|
||||||
|
ctxt->name = config->startTag;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
static void
|
||||||
|
pendingTokenizer(xmlTokenizerConfig *config) {
|
||||||
|
if (config->inCharacters) {
|
||||||
|
fprintf(SAXdebug, "\n");
|
||||||
|
config->inCharacters = 0;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
static void
|
||||||
|
internalSubsetTokenizer(void *ctx, const xmlChar *name,
|
||||||
|
const xmlChar *publicId, const xmlChar *systemId) {
|
||||||
|
xmlParserCtxtPtr ctxt = ctx;
|
||||||
|
xmlTokenizerConfig *config = ctxt->_private;
|
||||||
|
|
||||||
|
pendingTokenizer(config);
|
||||||
|
|
||||||
|
fprintf(SAXdebug, "DOCTYPE\n%s\n%s\n%s\n",
|
||||||
|
name ? name : BAD_CAST "<none>",
|
||||||
|
publicId ? publicId : BAD_CAST "<none>",
|
||||||
|
systemId ? systemId : BAD_CAST "<none>");
|
||||||
|
}
|
||||||
|
|
||||||
|
static void
|
||||||
|
startElementTokenizer(void *ctx, const xmlChar *name, const xmlChar **atts) {
|
||||||
|
xmlParserCtxtPtr ctxt = ctx;
|
||||||
|
xmlTokenizerConfig *config = ctxt->_private;
|
||||||
|
int i;
|
||||||
|
|
||||||
|
pendingTokenizer(config);
|
||||||
|
|
||||||
|
fprintf(SAXdebug, "StartTag\n%s", name);
|
||||||
|
if (atts != NULL) {
|
||||||
|
for (i = 0; atts[i] != NULL; i += 2) {
|
||||||
|
fprintf(SAXdebug, " %s=", atts[i]);
|
||||||
|
if (atts[i+1] != NULL)
|
||||||
|
fprintf(SAXdebug, "%s", atts[i+1]);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fprintf(SAXdebug, "\n");
|
||||||
|
}
|
||||||
|
|
||||||
|
static void
|
||||||
|
endElementTokenizer(void *ctx, const xmlChar *name) {
|
||||||
|
xmlParserCtxtPtr ctxt = ctx;
|
||||||
|
xmlTokenizerConfig *config = ctxt->_private;
|
||||||
|
|
||||||
|
pendingTokenizer(config);
|
||||||
|
|
||||||
|
fprintf(SAXdebug, "EndTag\n%s\n", name);
|
||||||
|
}
|
||||||
|
|
||||||
|
static void
|
||||||
|
charactersTokenizer(void *ctx, const xmlChar *ch, int len) {
|
||||||
|
xmlParserCtxtPtr ctxt = ctx;
|
||||||
|
xmlTokenizerConfig *config = ctxt->_private;
|
||||||
|
|
||||||
|
if (!config->inCharacters) {
|
||||||
|
fprintf(SAXdebug, "Character\n");
|
||||||
|
config->inCharacters = 1;
|
||||||
|
}
|
||||||
|
|
||||||
|
fwrite(ch, 1, len, SAXdebug);
|
||||||
|
}
|
||||||
|
|
||||||
|
static void
|
||||||
|
commentTokenizer(void *ctx, const xmlChar *value) {
|
||||||
|
xmlParserCtxtPtr ctxt = ctx;
|
||||||
|
xmlTokenizerConfig *config = ctxt->_private;
|
||||||
|
|
||||||
|
pendingTokenizer(config);
|
||||||
|
|
||||||
|
fprintf(SAXdebug, "Comment\n%s\n", value);
|
||||||
|
}
|
||||||
|
|
||||||
|
static void
|
||||||
|
endDocumentTokenizer(void *ctx) {
|
||||||
|
xmlParserCtxtPtr ctxt = ctx;
|
||||||
|
xmlTokenizerConfig *config = ctxt->_private;
|
||||||
|
|
||||||
|
pendingTokenizer(config);
|
||||||
|
}
|
||||||
|
|
||||||
|
static xmlSAXHandler tokenizeHtmlSAXHandler = {
|
||||||
|
internalSubsetTokenizer,
|
||||||
|
NULL,
|
||||||
|
NULL,
|
||||||
|
NULL,
|
||||||
|
NULL,
|
||||||
|
NULL,
|
||||||
|
NULL,
|
||||||
|
NULL,
|
||||||
|
NULL,
|
||||||
|
NULL,
|
||||||
|
NULL,
|
||||||
|
NULL,
|
||||||
|
startDocumentTokenizer,
|
||||||
|
endDocumentTokenizer,
|
||||||
|
startElementTokenizer,
|
||||||
|
endElementTokenizer,
|
||||||
|
NULL,
|
||||||
|
charactersTokenizer,
|
||||||
|
NULL,
|
||||||
|
NULL,
|
||||||
|
commentTokenizer,
|
||||||
|
NULL,
|
||||||
|
NULL,
|
||||||
|
NULL,
|
||||||
|
NULL,
|
||||||
|
NULL,
|
||||||
|
NULL,
|
||||||
|
1,
|
||||||
|
NULL,
|
||||||
|
NULL,
|
||||||
|
NULL,
|
||||||
|
NULL
|
||||||
|
};
|
||||||
|
|
||||||
|
/**
|
||||||
|
* htmlTokenizerTest:
|
||||||
|
* @filename: the file to parse
|
||||||
|
* @result: the file with expected result
|
||||||
|
* @err: the file with error messages
|
||||||
|
*
|
||||||
|
* Parse a file using the SAX API and check for errors.
|
||||||
|
*
|
||||||
|
* Returns 0 in case of success, an error code otherwise
|
||||||
|
*/
|
||||||
|
static int
|
||||||
|
htmlTokenizerTest(const char *filename, const char *result,
|
||||||
|
const char *err ATTRIBUTE_UNUSED,
|
||||||
|
int options) {
|
||||||
|
xmlTokenizerConfig config;
|
||||||
|
char startTag[31];
|
||||||
|
FILE *input;
|
||||||
|
char *temp;
|
||||||
|
unsigned testNum, dataState, size;
|
||||||
|
int ret = 0, counter = 0;
|
||||||
|
|
||||||
|
nb_tests++;
|
||||||
|
temp = resultFilename(filename, temp_directory, ".res");
|
||||||
|
if (temp == NULL) {
|
||||||
|
fprintf(stderr, "out of memory\n");
|
||||||
|
fatalError();
|
||||||
|
}
|
||||||
|
|
||||||
|
SAXdebug = fopen(temp, "wb");
|
||||||
|
if (SAXdebug == NULL) {
|
||||||
|
fprintf(stderr, "Failed to write to %s\n", temp);
|
||||||
|
free(temp);
|
||||||
|
return(-1);
|
||||||
|
}
|
||||||
|
|
||||||
|
input = fopen(filename, "rb");
|
||||||
|
if (input == NULL) {
|
||||||
|
fprintf(stderr, "%s: failed to open\n", filename);
|
||||||
|
return(-1);
|
||||||
|
}
|
||||||
|
|
||||||
|
while (fscanf(input, "%u %30s %u %u%*1[\n]",
|
||||||
|
&testNum, startTag, &dataState, &size) >= 4) {
|
||||||
|
htmlParserCtxtPtr ctxt;
|
||||||
|
char *data;
|
||||||
|
|
||||||
|
fprintf(SAXdebug, "%d\n", counter++);
|
||||||
|
|
||||||
|
data = xmlMalloc(size + 1);
|
||||||
|
if (fread(data, 1, size, input) != size) {
|
||||||
|
fprintf(stderr, "%s:%d: unexpected eof\n", filename, counter);
|
||||||
|
return(-1);
|
||||||
|
}
|
||||||
|
|
||||||
|
ctxt = htmlCreatePushParserCtxt(&tokenizeHtmlSAXHandler, NULL, NULL, 0,
|
||||||
|
NULL, XML_CHAR_ENCODING_UTF8);
|
||||||
|
config.dataState = dataState;
|
||||||
|
config.startTag = BAD_CAST startTag;
|
||||||
|
config.inCharacters = 0;
|
||||||
|
ctxt->_private = &config;
|
||||||
|
htmlCtxtUseOptions(ctxt, options | HTML_PARSE_HTML5);
|
||||||
|
htmlParseChunk(ctxt, data, size, 1);
|
||||||
|
htmlFreeParserCtxt(ctxt);
|
||||||
|
|
||||||
|
xmlFree(data);
|
||||||
|
}
|
||||||
|
if (!feof(input)) {
|
||||||
|
fprintf(stderr, "%s:%d: invalid format\n", filename, counter);
|
||||||
|
return(-1);
|
||||||
|
}
|
||||||
|
|
||||||
|
fclose(input);
|
||||||
|
fclose(SAXdebug);
|
||||||
|
|
||||||
|
if (compareFiles(temp, result)) {
|
||||||
|
fprintf(stderr, "Got a difference for %s\n", filename);
|
||||||
|
ret = 1;
|
||||||
|
}
|
||||||
|
|
||||||
|
if (temp != NULL) {
|
||||||
|
unlink(temp);
|
||||||
|
free(temp);
|
||||||
|
}
|
||||||
|
|
||||||
|
return(ret);
|
||||||
|
}
|
||||||
|
#endif /* HTML */
|
||||||
|
|
||||||
/************************************************************************
|
/************************************************************************
|
||||||
* *
|
* *
|
||||||
* Parse to tree based tests *
|
* Parse to tree based tests *
|
||||||
@ -4954,6 +5179,11 @@ testDesc testDescriptions[] = {
|
|||||||
{ "HTML SAX regression tests" ,
|
{ "HTML SAX regression tests" ,
|
||||||
saxParseTest, "./test/HTML/*", "result/HTML/", ".sax", NULL,
|
saxParseTest, "./test/HTML/*", "result/HTML/", ".sax", NULL,
|
||||||
XML_PARSE_HTML },
|
XML_PARSE_HTML },
|
||||||
|
#ifdef LIBXML_PUSH_ENABLED
|
||||||
|
{ "HTML tokenization tests",
|
||||||
|
htmlTokenizerTest,
|
||||||
|
"./test/html-tokenizer/*.test", "result/html-tokenizer/", "", NULL, 0 },
|
||||||
|
#endif
|
||||||
#endif
|
#endif
|
||||||
#ifdef LIBXML_VALID_ENABLED
|
#ifdef LIBXML_VALID_ENABLED
|
||||||
{ "Valid documents regression tests" ,
|
{ "Valid documents regression tests" ,
|
||||||
|
|||||||
27
test/html-tokenizer/NOTICE
Normal file
27
test/html-tokenizer/NOTICE
Normal file
@ -0,0 +1,27 @@
|
|||||||
|
The test cases in this directory are derived from the html5lib test
|
||||||
|
suite available from https://github.com/html5lib/html5lib-tests under
|
||||||
|
the following license:
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
Copyright (c) 2006-2013 James Graham, Geoffrey Sneddon, and
|
||||||
|
other contributors
|
||||||
|
|
||||||
|
Permission is hereby granted, free of charge, to any person obtaining
|
||||||
|
a copy of this software and associated documentation files (the
|
||||||
|
"Software"), to deal in the Software without restriction, including
|
||||||
|
without limitation the rights to use, copy, modify, merge, publish,
|
||||||
|
distribute, sublicense, and/or sell copies of the Software, and to
|
||||||
|
permit persons to whom the Software is furnished to do so, subject to
|
||||||
|
the following conditions:
|
||||||
|
|
||||||
|
The above copyright notice and this permission notice shall be
|
||||||
|
included in all copies or substantial portions of the Software.
|
||||||
|
|
||||||
|
THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
|
||||||
|
EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
|
||||||
|
MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
|
||||||
|
NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE
|
||||||
|
LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION
|
||||||
|
OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION
|
||||||
|
WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
|
||||||
48
test/html-tokenizer/contentModelFlags.test
Normal file
48
test/html-tokenizer/contentModelFlags.test
Normal file
@ -0,0 +1,48 @@
|
|||||||
|
0 plaintext 3 12
|
||||||
|
<head>&body;
|
||||||
|
1 plaintext 3 18
|
||||||
|
</plaintext>&body;
|
||||||
|
2 xmp 1 9
|
||||||
|
foo</xmp>
|
||||||
|
3 xmp 2 9
|
||||||
|
foo</xmp>
|
||||||
|
4 xmp 1 9
|
||||||
|
foo</xMp>
|
||||||
|
5 xmp 2 9
|
||||||
|
foo</xMp>
|
||||||
|
6 xmp 1 9
|
||||||
|
foo</xmp
|
||||||
|
7 xmp 2 9
|
||||||
|
foo</xmp
|
||||||
|
8 xmp 1 8
|
||||||
|
foo</xmp
|
||||||
|
9 xmp 2 8
|
||||||
|
foo</xmp
|
||||||
|
10 xmp 1 9
|
||||||
|
foo</xmp/
|
||||||
|
11 xmp 2 9
|
||||||
|
foo</xmp/
|
||||||
|
12 xmp 1 9
|
||||||
|
foo</xmp<
|
||||||
|
13 xmp 2 9
|
||||||
|
foo</xmp<
|
||||||
|
14 xmp 1 15
|
||||||
|
</foo>bar</xmp>
|
||||||
|
15 xmp 2 15
|
||||||
|
</foo>bar</xmp>
|
||||||
|
16 xmp 1 16
|
||||||
|
</xmp</xmp</xmp>
|
||||||
|
17 xmp 2 16
|
||||||
|
</xmp</xmp</xmp>
|
||||||
|
18 xmp 1 18
|
||||||
|
</foo>bar</xmpaar>
|
||||||
|
19 xmp 2 18
|
||||||
|
</foo>bar</xmpaar>
|
||||||
|
20 xmp 1 15
|
||||||
|
foo</xmp></baz>
|
||||||
|
21 xmp 2 15
|
||||||
|
foo</xmp></baz>
|
||||||
|
22 xmp 2 5
|
||||||
|
&foo;
|
||||||
|
23 textarea 1 4
|
||||||
|
<
|
||||||
BIN
test/html-tokenizer/domjs.test
Normal file
BIN
test/html-tokenizer/domjs.test
Normal file
Binary file not shown.
160
test/html-tokenizer/entities.test
Normal file
160
test/html-tokenizer/entities.test
Normal file
@ -0,0 +1,160 @@
|
|||||||
|
0 - 0 14
|
||||||
|
<h a="¬i;">
|
||||||
|
1 - 0 14
|
||||||
|
<h a="&lang=">
|
||||||
|
2 - 0 13
|
||||||
|
<h a="¬=">
|
||||||
|
3 - 0 14
|
||||||
|
<h a='¬i;'>
|
||||||
|
4 - 0 14
|
||||||
|
<h a='&lang='>
|
||||||
|
5 - 0 13
|
||||||
|
<h a='¬='>
|
||||||
|
6 - 0 12
|
||||||
|
<h a=¬i;>
|
||||||
|
7 - 0 12
|
||||||
|
<h a=&lang=>
|
||||||
|
8 - 0 11
|
||||||
|
<h a=¬=>
|
||||||
|
9 - 0 14
|
||||||
|
&rrrraannddom;
|
||||||
|
10 - 0 6
|
||||||
|
¬i;
|
||||||
|
11 - 0 950
|
||||||
|
&ammmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmp;
|
||||||
|
12 - 0 6
|
||||||
|

|
||||||
|
13 - 0 7
|
||||||
|

|
||||||
|
14 - 0 7
|
||||||
|
€
|
||||||
|
15 - 0 7
|
||||||
|

|
||||||
|
16 - 0 7
|
||||||
|
‚
|
||||||
|
17 - 0 7
|
||||||
|
ƒ
|
||||||
|
18 - 0 7
|
||||||
|
„
|
||||||
|
19 - 0 7
|
||||||
|
…
|
||||||
|
20 - 0 7
|
||||||
|
†
|
||||||
|
21 - 0 7
|
||||||
|
‡
|
||||||
|
22 - 0 7
|
||||||
|
ˆ
|
||||||
|
23 - 0 7
|
||||||
|
‰
|
||||||
|
24 - 0 7
|
||||||
|
Š
|
||||||
|
25 - 0 7
|
||||||
|
‹
|
||||||
|
26 - 0 7
|
||||||
|
Œ
|
||||||
|
27 - 0 7
|
||||||
|

|
||||||
|
28 - 0 7
|
||||||
|
Ž
|
||||||
|
29 - 0 7
|
||||||
|

|
||||||
|
30 - 0 7
|
||||||
|

|
||||||
|
31 - 0 7
|
||||||
|
‘
|
||||||
|
32 - 0 7
|
||||||
|
’
|
||||||
|
33 - 0 7
|
||||||
|
“
|
||||||
|
34 - 0 7
|
||||||
|
”
|
||||||
|
35 - 0 7
|
||||||
|
•
|
||||||
|
36 - 0 7
|
||||||
|
–
|
||||||
|
37 - 0 7
|
||||||
|
—
|
||||||
|
38 - 0 7
|
||||||
|
˜
|
||||||
|
39 - 0 7
|
||||||
|
™
|
||||||
|
40 - 0 7
|
||||||
|
š
|
||||||
|
41 - 0 7
|
||||||
|
›
|
||||||
|
42 - 0 7
|
||||||
|
œ
|
||||||
|
43 - 0 7
|
||||||
|

|
||||||
|
44 - 0 7
|
||||||
|
€
|
||||||
|
45 - 0 7
|
||||||
|

|
||||||
|
46 - 0 7
|
||||||
|
‚
|
||||||
|
47 - 0 7
|
||||||
|
ƒ
|
||||||
|
48 - 0 7
|
||||||
|
„
|
||||||
|
49 - 0 7
|
||||||
|
…
|
||||||
|
50 - 0 7
|
||||||
|
†
|
||||||
|
51 - 0 7
|
||||||
|
‡
|
||||||
|
52 - 0 7
|
||||||
|
ˆ
|
||||||
|
53 - 0 7
|
||||||
|
‰
|
||||||
|
54 - 0 7
|
||||||
|
Š
|
||||||
|
55 - 0 7
|
||||||
|
‹
|
||||||
|
56 - 0 7
|
||||||
|
Œ
|
||||||
|
57 - 0 7
|
||||||
|

|
||||||
|
58 - 0 7
|
||||||
|
Ž
|
||||||
|
59 - 0 7
|
||||||
|

|
||||||
|
60 - 0 7
|
||||||
|

|
||||||
|
61 - 0 7
|
||||||
|
‘
|
||||||
|
62 - 0 7
|
||||||
|
’
|
||||||
|
63 - 0 7
|
||||||
|
“
|
||||||
|
64 - 0 7
|
||||||
|
”
|
||||||
|
65 - 0 7
|
||||||
|
•
|
||||||
|
66 - 0 7
|
||||||
|
–
|
||||||
|
67 - 0 7
|
||||||
|
—
|
||||||
|
68 - 0 7
|
||||||
|
˜
|
||||||
|
69 - 0 7
|
||||||
|
™
|
||||||
|
70 - 0 7
|
||||||
|
š
|
||||||
|
71 - 0 7
|
||||||
|
›
|
||||||
|
72 - 0 7
|
||||||
|
œ
|
||||||
|
73 - 0 7
|
||||||
|

|
||||||
|
74 - 0 7
|
||||||
|
ž
|
||||||
|
75 - 0 7
|
||||||
|
Ÿ
|
||||||
|
76 - 0 5
|
||||||
|
aa
|
||||||
|
77 - 0 5
|
||||||
|
aA
|
||||||
|
78 - 0 5
|
||||||
|
af
|
||||||
|
79 - 0 5
|
||||||
|
aF
|
||||||
18
test/html-tokenizer/escapeFlag.test
Normal file
18
test/html-tokenizer/escapeFlag.test
Normal file
@ -0,0 +1,18 @@
|
|||||||
|
0 xmp 1 22
|
||||||
|
foo<!--</xmp>--></xmp>
|
||||||
|
1 xmp 2 22
|
||||||
|
foo<!--</xmp>--></xmp>
|
||||||
|
2 xmp 1 17
|
||||||
|
foo<!-->baz</xmp>
|
||||||
|
3 xmp 2 17
|
||||||
|
foo<!-->baz</xmp>
|
||||||
|
4 xmp 1 28
|
||||||
|
foo<!--></xmp><!-->baz</xmp>
|
||||||
|
5 xmp 2 28
|
||||||
|
foo<!--></xmp><!-->baz</xmp>
|
||||||
|
6 xmp 1 34
|
||||||
|
& <!-- & --> & </xmp>
|
||||||
|
7 xmp 1 35
|
||||||
|
foo<!-- x --x>x-- >x--!>x--<></xmp>
|
||||||
|
8 xmp 2 35
|
||||||
|
foo<!-- x --x>x-- >x--!>x--<></xmp>
|
||||||
8420
test/html-tokenizer/namedEntities.test
Normal file
8420
test/html-tokenizer/namedEntities.test
Normal file
File diff suppressed because it is too large
Load Diff
672
test/html-tokenizer/numericEntities.test
Normal file
672
test/html-tokenizer/numericEntities.test
Normal file
@ -0,0 +1,672 @@
|
|||||||
|
0 - 0 13
|
||||||
|
�
|
||||||
|
1 - 0 12
|
||||||
|
�
|
||||||
|
2 - 0 14
|
||||||
|
�
|
||||||
|
3 - 0 14
|
||||||
|
�x
|
||||||
|
4 - 0 13
|
||||||
|
�x
|
||||||
|
5 - 0 15
|
||||||
|
�x
|
||||||
|
6 - 0 14
|
||||||
|
�
|
||||||
|
7 - 0 13
|
||||||
|
�
|
||||||
|
8 - 0 15
|
||||||
|
�
|
||||||
|
9 - 0 8
|
||||||
|
�
|
||||||
|
10 - 0 8
|
||||||
|

|
||||||
|
11 - 0 8
|
||||||
|

|
||||||
|
12 - 0 8
|
||||||
|

|
||||||
|
13 - 0 8
|
||||||
|

|
||||||
|
14 - 0 8
|
||||||
|

|
||||||
|
15 - 0 8
|
||||||
|

|
||||||
|
16 - 0 8
|
||||||
|

|
||||||
|
17 - 0 8
|
||||||
|

|
||||||
|
18 - 0 8
|
||||||
|

|
||||||
|
19 - 0 8
|
||||||
|

|
||||||
|
20 - 0 8
|
||||||
|

|
||||||
|
21 - 0 8
|
||||||
|

|
||||||
|
22 - 0 8
|
||||||
|

|
||||||
|
23 - 0 8
|
||||||
|

|
||||||
|
24 - 0 8
|
||||||
|

|
||||||
|
25 - 0 8
|
||||||
|

|
||||||
|
26 - 0 8
|
||||||
|

|
||||||
|
27 - 0 8
|
||||||
|

|
||||||
|
28 - 0 8
|
||||||
|

|
||||||
|
29 - 0 8
|
||||||
|

|
||||||
|
30 - 0 8
|
||||||
|

|
||||||
|
31 - 0 8
|
||||||
|

|
||||||
|
32 - 0 8
|
||||||
|

|
||||||
|
33 - 0 8
|
||||||
|

|
||||||
|
34 - 0 8
|
||||||
|

|
||||||
|
35 - 0 8
|
||||||
|

|
||||||
|
36 - 0 8
|
||||||
|

|
||||||
|
37 - 0 8
|
||||||
|

|
||||||
|
38 - 0 8
|
||||||
|
�
|
||||||
|
39 - 0 8
|
||||||
|
�
|
||||||
|
40 - 0 8
|
||||||
|

|
||||||
|
41 - 0 8
|
||||||
|

|
||||||
|
42 - 0 8
|
||||||
|

|
||||||
|
43 - 0 8
|
||||||
|

|
||||||
|
44 - 0 8
|
||||||
|

|
||||||
|
45 - 0 8
|
||||||
|

|
||||||
|
46 - 0 8
|
||||||
|

|
||||||
|
47 - 0 8
|
||||||
|

|
||||||
|
48 - 0 8
|
||||||
|

|
||||||
|
49 - 0 8
|
||||||
|

|
||||||
|
50 - 0 8
|
||||||
|

|
||||||
|
51 - 0 8
|
||||||
|

|
||||||
|
52 - 0 8
|
||||||
|

|
||||||
|
53 - 0 8
|
||||||
|

|
||||||
|
54 - 0 8
|
||||||
|

|
||||||
|
55 - 0 8
|
||||||
|

|
||||||
|
56 - 0 8
|
||||||
|

|
||||||
|
57 - 0 8
|
||||||
|

|
||||||
|
58 - 0 8
|
||||||
|

|
||||||
|
59 - 0 8
|
||||||
|

|
||||||
|
60 - 0 8
|
||||||
|

|
||||||
|
61 - 0 8
|
||||||
|

|
||||||
|
62 - 0 8
|
||||||
|

|
||||||
|
63 - 0 8
|
||||||
|

|
||||||
|
64 - 0 8
|
||||||
|

|
||||||
|
65 - 0 8
|
||||||
|

|
||||||
|
66 - 0 8
|
||||||
|

|
||||||
|
67 - 0 8
|
||||||
|

|
||||||
|
68 - 0 8
|
||||||
|

|
||||||
|
69 - 0 8
|
||||||
|

|
||||||
|
70 - 0 8
|
||||||
|

|
||||||
|
71 - 0 8
|
||||||
|

|
||||||
|
72 - 0 8
|
||||||
|

|
||||||
|
73 - 0 8
|
||||||
|

|
||||||
|
74 - 0 9
|
||||||
|

|
||||||
|
75 - 0 9
|
||||||
|

|
||||||
|
76 - 0 9
|
||||||
|

|
||||||
|
77 - 0 9
|
||||||
|

|
||||||
|
78 - 0 9
|
||||||
|

|
||||||
|
79 - 0 9
|
||||||
|

|
||||||
|
80 - 0 9
|
||||||
|

|
||||||
|
81 - 0 9
|
||||||
|

|
||||||
|
82 - 0 9
|
||||||
|

|
||||||
|
83 - 0 9
|
||||||
|

|
||||||
|
84 - 0 9
|
||||||
|

|
||||||
|
85 - 0 9
|
||||||
|

|
||||||
|
86 - 0 9
|
||||||
|

|
||||||
|
87 - 0 9
|
||||||
|

|
||||||
|
88 - 0 9
|
||||||
|

|
||||||
|
89 - 0 9
|
||||||
|

|
||||||
|
90 - 0 9
|
||||||
|

|
||||||
|
91 - 0 9
|
||||||
|

|
||||||
|
92 - 0 9
|
||||||
|

|
||||||
|
93 - 0 9
|
||||||
|

|
||||||
|
94 - 0 9
|
||||||
|

|
||||||
|
95 - 0 9
|
||||||
|

|
||||||
|
96 - 0 9
|
||||||
|

|
||||||
|
97 - 0 9
|
||||||
|

|
||||||
|
98 - 0 9
|
||||||
|

|
||||||
|
99 - 0 9
|
||||||
|

|
||||||
|
100 - 0 9
|
||||||
|

|
||||||
|
101 - 0 9
|
||||||
|

|
||||||
|
102 - 0 9
|
||||||
|

|
||||||
|
103 - 0 9
|
||||||
|

|
||||||
|
104 - 0 10
|
||||||
|

|
||||||
|
105 - 0 10
|
||||||
|

|
||||||
|
106 - 0 8
|
||||||
|
	
|
||||||
|
107 - 0 8
|
||||||
|


|
||||||
|
108 - 0 8
|
||||||
|
 
|
||||||
|
109 - 0 8
|
||||||
|
!
|
||||||
|
110 - 0 8
|
||||||
|
"
|
||||||
|
111 - 0 8
|
||||||
|
#
|
||||||
|
112 - 0 8
|
||||||
|
$
|
||||||
|
113 - 0 8
|
||||||
|
%
|
||||||
|
114 - 0 8
|
||||||
|
&
|
||||||
|
115 - 0 8
|
||||||
|
'
|
||||||
|
116 - 0 8
|
||||||
|
(
|
||||||
|
117 - 0 8
|
||||||
|
)
|
||||||
|
118 - 0 8
|
||||||
|
*
|
||||||
|
119 - 0 8
|
||||||
|
+
|
||||||
|
120 - 0 8
|
||||||
|
,
|
||||||
|
121 - 0 8
|
||||||
|
-
|
||||||
|
122 - 0 8
|
||||||
|
.
|
||||||
|
123 - 0 8
|
||||||
|
/
|
||||||
|
124 - 0 8
|
||||||
|
0
|
||||||
|
125 - 0 8
|
||||||
|
1
|
||||||
|
126 - 0 8
|
||||||
|
2
|
||||||
|
127 - 0 8
|
||||||
|
3
|
||||||
|
128 - 0 8
|
||||||
|
4
|
||||||
|
129 - 0 8
|
||||||
|
5
|
||||||
|
130 - 0 8
|
||||||
|
6
|
||||||
|
131 - 0 8
|
||||||
|
7
|
||||||
|
132 - 0 8
|
||||||
|
8
|
||||||
|
133 - 0 8
|
||||||
|
9
|
||||||
|
134 - 0 8
|
||||||
|
:
|
||||||
|
135 - 0 8
|
||||||
|
;
|
||||||
|
136 - 0 8
|
||||||
|
<
|
||||||
|
137 - 0 8
|
||||||
|
=
|
||||||
|
138 - 0 8
|
||||||
|
>
|
||||||
|
139 - 0 8
|
||||||
|
?
|
||||||
|
140 - 0 8
|
||||||
|
@
|
||||||
|
141 - 0 8
|
||||||
|
A
|
||||||
|
142 - 0 8
|
||||||
|
B
|
||||||
|
143 - 0 8
|
||||||
|
C
|
||||||
|
144 - 0 8
|
||||||
|
D
|
||||||
|
145 - 0 8
|
||||||
|
E
|
||||||
|
146 - 0 8
|
||||||
|
F
|
||||||
|
147 - 0 8
|
||||||
|
G
|
||||||
|
148 - 0 8
|
||||||
|
H
|
||||||
|
149 - 0 8
|
||||||
|
I
|
||||||
|
150 - 0 8
|
||||||
|
J
|
||||||
|
151 - 0 8
|
||||||
|
K
|
||||||
|
152 - 0 8
|
||||||
|
L
|
||||||
|
153 - 0 8
|
||||||
|
M
|
||||||
|
154 - 0 8
|
||||||
|
N
|
||||||
|
155 - 0 8
|
||||||
|
O
|
||||||
|
156 - 0 8
|
||||||
|
P
|
||||||
|
157 - 0 8
|
||||||
|
Q
|
||||||
|
158 - 0 8
|
||||||
|
R
|
||||||
|
159 - 0 8
|
||||||
|
S
|
||||||
|
160 - 0 8
|
||||||
|
T
|
||||||
|
161 - 0 8
|
||||||
|
U
|
||||||
|
162 - 0 8
|
||||||
|
V
|
||||||
|
163 - 0 8
|
||||||
|
W
|
||||||
|
164 - 0 8
|
||||||
|
X
|
||||||
|
165 - 0 8
|
||||||
|
Y
|
||||||
|
166 - 0 8
|
||||||
|
Z
|
||||||
|
167 - 0 8
|
||||||
|
[
|
||||||
|
168 - 0 8
|
||||||
|
\
|
||||||
|
169 - 0 8
|
||||||
|
]
|
||||||
|
170 - 0 8
|
||||||
|
^
|
||||||
|
171 - 0 8
|
||||||
|
_
|
||||||
|
172 - 0 8
|
||||||
|
`
|
||||||
|
173 - 0 8
|
||||||
|
a
|
||||||
|
174 - 0 8
|
||||||
|
b
|
||||||
|
175 - 0 8
|
||||||
|
c
|
||||||
|
176 - 0 8
|
||||||
|
d
|
||||||
|
177 - 0 8
|
||||||
|
e
|
||||||
|
178 - 0 8
|
||||||
|
f
|
||||||
|
179 - 0 8
|
||||||
|
g
|
||||||
|
180 - 0 8
|
||||||
|
h
|
||||||
|
181 - 0 8
|
||||||
|
i
|
||||||
|
182 - 0 8
|
||||||
|
j
|
||||||
|
183 - 0 8
|
||||||
|
k
|
||||||
|
184 - 0 8
|
||||||
|
l
|
||||||
|
185 - 0 8
|
||||||
|
m
|
||||||
|
186 - 0 8
|
||||||
|
n
|
||||||
|
187 - 0 8
|
||||||
|
o
|
||||||
|
188 - 0 8
|
||||||
|
p
|
||||||
|
189 - 0 8
|
||||||
|
q
|
||||||
|
190 - 0 8
|
||||||
|
r
|
||||||
|
191 - 0 8
|
||||||
|
s
|
||||||
|
192 - 0 8
|
||||||
|
t
|
||||||
|
193 - 0 8
|
||||||
|
u
|
||||||
|
194 - 0 8
|
||||||
|
v
|
||||||
|
195 - 0 8
|
||||||
|
w
|
||||||
|
196 - 0 8
|
||||||
|
x
|
||||||
|
197 - 0 8
|
||||||
|
y
|
||||||
|
198 - 0 8
|
||||||
|
z
|
||||||
|
199 - 0 8
|
||||||
|
{
|
||||||
|
200 - 0 8
|
||||||
|
|
|
||||||
|
201 - 0 8
|
||||||
|
}
|
||||||
|
202 - 0 8
|
||||||
|
~
|
||||||
|
203 - 0 8
|
||||||
|
 
|
||||||
|
204 - 0 8
|
||||||
|
¡
|
||||||
|
205 - 0 8
|
||||||
|
¢
|
||||||
|
206 - 0 8
|
||||||
|
£
|
||||||
|
207 - 0 8
|
||||||
|
¤
|
||||||
|
208 - 0 8
|
||||||
|
¥
|
||||||
|
209 - 0 8
|
||||||
|
¦
|
||||||
|
210 - 0 8
|
||||||
|
§
|
||||||
|
211 - 0 8
|
||||||
|
¨
|
||||||
|
212 - 0 8
|
||||||
|
©
|
||||||
|
213 - 0 8
|
||||||
|
ª
|
||||||
|
214 - 0 8
|
||||||
|
«
|
||||||
|
215 - 0 8
|
||||||
|
¬
|
||||||
|
216 - 0 8
|
||||||
|
­
|
||||||
|
217 - 0 8
|
||||||
|
®
|
||||||
|
218 - 0 8
|
||||||
|
¯
|
||||||
|
219 - 0 8
|
||||||
|
°
|
||||||
|
220 - 0 8
|
||||||
|
±
|
||||||
|
221 - 0 8
|
||||||
|
²
|
||||||
|
222 - 0 8
|
||||||
|
³
|
||||||
|
223 - 0 8
|
||||||
|
´
|
||||||
|
224 - 0 8
|
||||||
|
µ
|
||||||
|
225 - 0 8
|
||||||
|
¶
|
||||||
|
226 - 0 8
|
||||||
|
·
|
||||||
|
227 - 0 8
|
||||||
|
¸
|
||||||
|
228 - 0 8
|
||||||
|
¹
|
||||||
|
229 - 0 8
|
||||||
|
º
|
||||||
|
230 - 0 8
|
||||||
|
»
|
||||||
|
231 - 0 8
|
||||||
|
¼
|
||||||
|
232 - 0 8
|
||||||
|
½
|
||||||
|
233 - 0 8
|
||||||
|
¾
|
||||||
|
234 - 0 8
|
||||||
|
¿
|
||||||
|
235 - 0 8
|
||||||
|
À
|
||||||
|
236 - 0 8
|
||||||
|
Á
|
||||||
|
237 - 0 8
|
||||||
|
Â
|
||||||
|
238 - 0 8
|
||||||
|
Ã
|
||||||
|
239 - 0 8
|
||||||
|
Ä
|
||||||
|
240 - 0 8
|
||||||
|
Å
|
||||||
|
241 - 0 8
|
||||||
|
Æ
|
||||||
|
242 - 0 8
|
||||||
|
Ç
|
||||||
|
243 - 0 8
|
||||||
|
È
|
||||||
|
244 - 0 8
|
||||||
|
É
|
||||||
|
245 - 0 8
|
||||||
|
Ê
|
||||||
|
246 - 0 8
|
||||||
|
Ë
|
||||||
|
247 - 0 8
|
||||||
|
Ì
|
||||||
|
248 - 0 8
|
||||||
|
Í
|
||||||
|
249 - 0 8
|
||||||
|
Î
|
||||||
|
250 - 0 8
|
||||||
|
Ï
|
||||||
|
251 - 0 8
|
||||||
|
Ð
|
||||||
|
252 - 0 8
|
||||||
|
Ñ
|
||||||
|
253 - 0 8
|
||||||
|
Ò
|
||||||
|
254 - 0 8
|
||||||
|
Ó
|
||||||
|
255 - 0 8
|
||||||
|
Ô
|
||||||
|
256 - 0 8
|
||||||
|
Õ
|
||||||
|
257 - 0 8
|
||||||
|
Ö
|
||||||
|
258 - 0 8
|
||||||
|
×
|
||||||
|
259 - 0 8
|
||||||
|
Ø
|
||||||
|
260 - 0 8
|
||||||
|
Ù
|
||||||
|
261 - 0 8
|
||||||
|
Ú
|
||||||
|
262 - 0 8
|
||||||
|
Û
|
||||||
|
263 - 0 8
|
||||||
|
Ü
|
||||||
|
264 - 0 8
|
||||||
|
Ý
|
||||||
|
265 - 0 8
|
||||||
|
Þ
|
||||||
|
266 - 0 8
|
||||||
|
ß
|
||||||
|
267 - 0 8
|
||||||
|
à
|
||||||
|
268 - 0 8
|
||||||
|
á
|
||||||
|
269 - 0 8
|
||||||
|
â
|
||||||
|
270 - 0 8
|
||||||
|
ã
|
||||||
|
271 - 0 8
|
||||||
|
ä
|
||||||
|
272 - 0 8
|
||||||
|
å
|
||||||
|
273 - 0 8
|
||||||
|
æ
|
||||||
|
274 - 0 8
|
||||||
|
ç
|
||||||
|
275 - 0 8
|
||||||
|
è
|
||||||
|
276 - 0 8
|
||||||
|
é
|
||||||
|
277 - 0 8
|
||||||
|
ê
|
||||||
|
278 - 0 8
|
||||||
|
ë
|
||||||
|
279 - 0 8
|
||||||
|
ì
|
||||||
|
280 - 0 8
|
||||||
|
í
|
||||||
|
281 - 0 8
|
||||||
|
î
|
||||||
|
282 - 0 8
|
||||||
|
ï
|
||||||
|
283 - 0 8
|
||||||
|
ð
|
||||||
|
284 - 0 8
|
||||||
|
ñ
|
||||||
|
285 - 0 8
|
||||||
|
ò
|
||||||
|
286 - 0 8
|
||||||
|
ó
|
||||||
|
287 - 0 8
|
||||||
|
ô
|
||||||
|
288 - 0 8
|
||||||
|
õ
|
||||||
|
289 - 0 8
|
||||||
|
ö
|
||||||
|
290 - 0 8
|
||||||
|
÷
|
||||||
|
291 - 0 8
|
||||||
|
ø
|
||||||
|
292 - 0 8
|
||||||
|
ù
|
||||||
|
293 - 0 8
|
||||||
|
ú
|
||||||
|
294 - 0 8
|
||||||
|
û
|
||||||
|
295 - 0 8
|
||||||
|
ü
|
||||||
|
296 - 0 8
|
||||||
|
ý
|
||||||
|
297 - 0 8
|
||||||
|
þ
|
||||||
|
298 - 0 8
|
||||||
|
ÿ
|
||||||
|
299 - 0 8
|
||||||
|
퟿
|
||||||
|
300 - 0 8
|
||||||
|

|
||||||
|
301 - 0 8
|
||||||
|
﷏
|
||||||
|
302 - 0 8
|
||||||
|
ﷰ
|
||||||
|
303 - 0 8
|
||||||
|
�
|
||||||
|
304 - 0 9
|
||||||
|
𐀀
|
||||||
|
305 - 0 9
|
||||||
|
🿽
|
||||||
|
306 - 0 9
|
||||||
|
𠀀
|
||||||
|
307 - 0 9
|
||||||
|
𯿽
|
||||||
|
308 - 0 9
|
||||||
|
𰀀
|
||||||
|
309 - 0 9
|
||||||
|
𿿽
|
||||||
|
310 - 0 9
|
||||||
|
񀀀
|
||||||
|
311 - 0 9
|
||||||
|
񏿽
|
||||||
|
312 - 0 9
|
||||||
|
񐀀
|
||||||
|
313 - 0 9
|
||||||
|
񟿽
|
||||||
|
314 - 0 9
|
||||||
|
񠀀
|
||||||
|
315 - 0 9
|
||||||
|
񯿽
|
||||||
|
316 - 0 9
|
||||||
|
񰀀
|
||||||
|
317 - 0 9
|
||||||
|
񿿽
|
||||||
|
318 - 0 9
|
||||||
|
򀀀
|
||||||
|
319 - 0 9
|
||||||
|
򏿽
|
||||||
|
320 - 0 9
|
||||||
|
򐀀
|
||||||
|
321 - 0 9
|
||||||
|
򟿽
|
||||||
|
322 - 0 9
|
||||||
|
򠀀
|
||||||
|
323 - 0 9
|
||||||
|
򯿽
|
||||||
|
324 - 0 9
|
||||||
|
򰀀
|
||||||
|
325 - 0 9
|
||||||
|
򿿽
|
||||||
|
326 - 0 9
|
||||||
|
󀀀
|
||||||
|
327 - 0 9
|
||||||
|
󏿽
|
||||||
|
328 - 0 9
|
||||||
|
󐀀
|
||||||
|
329 - 0 9
|
||||||
|
󟿽
|
||||||
|
330 - 0 9
|
||||||
|
󠀀
|
||||||
|
331 - 0 9
|
||||||
|
󯿽
|
||||||
|
332 - 0 9
|
||||||
|
󰀀
|
||||||
|
333 - 0 9
|
||||||
|
󿿽
|
||||||
|
334 - 0 10
|
||||||
|
􀀀
|
||||||
|
335 - 0 10
|
||||||
|
􏿽
|
||||||
2
test/html-tokenizer/pendingSpecChanges.test
Normal file
2
test/html-tokenizer/pendingSpecChanges.test
Normal file
@ -0,0 +1,2 @@
|
|||||||
|
0 - 0 8
|
||||||
|
<!---- >
|
||||||
138
test/html-tokenizer/test1.test
Normal file
138
test/html-tokenizer/test1.test
Normal file
@ -0,0 +1,138 @@
|
|||||||
|
0 - 0 15
|
||||||
|
<!DOCTYPE html>
|
||||||
|
1 - 0 15
|
||||||
|
<!DOCTYPE HTML>
|
||||||
|
2 - 0 15
|
||||||
|
<!DOCTYPE HtMl>
|
||||||
|
3 - 0 14
|
||||||
|
<!DOCTYPE HtMl
|
||||||
|
4 - 0 6
|
||||||
|
<!DOC>
|
||||||
|
5 - 0 14
|
||||||
|
<!DOCTYPE foo>
|
||||||
|
6 - 0 3
|
||||||
|
<h>
|
||||||
|
7 - 0 3
|
||||||
|
</>
|
||||||
|
8 - 0 2
|
||||||
|
<>
|
||||||
|
9 - 0 9
|
||||||
|
<h a='b'>
|
||||||
|
10 - 0 7
|
||||||
|
<h a=b>
|
||||||
|
11 - 0 7
|
||||||
|
<h></h>
|
||||||
|
12 - 0 12
|
||||||
|
<p>One<p>Two
|
||||||
|
13 - 0 13
|
||||||
|
<h></h a='b'>
|
||||||
|
14 - 0 15
|
||||||
|
<h a='b' c='d'>
|
||||||
|
15 - 0 14
|
||||||
|
<h a='b'c='d'>
|
||||||
|
16 - 0 15
|
||||||
|
<h a='b' a='d'>
|
||||||
|
17 - 0 14
|
||||||
|
<!--comment-->
|
||||||
|
18 - 0 8
|
||||||
|
<!----->
|
||||||
|
19 - 0 18
|
||||||
|
<!-- --comment -->
|
||||||
|
20 - 0 9
|
||||||
|
<!--<!-->
|
||||||
|
21 - 0 11
|
||||||
|
<!--comment
|
||||||
|
22 - 0 9
|
||||||
|
<!-- <!--
|
||||||
|
23 - 0 3
|
||||||
|
<!-
|
||||||
|
24 - 0 5
|
||||||
|
<!-->
|
||||||
|
25 - 0 6
|
||||||
|
<!--->
|
||||||
|
26 - 0 7
|
||||||
|
<!---->
|
||||||
|
27 - 0 13
|
||||||
|
<!-- <test-->
|
||||||
|
28 - 0 9
|
||||||
|
<!--<<-->
|
||||||
|
29 - 0 14
|
||||||
|
<!-- <!test-->
|
||||||
|
30 - 0 15
|
||||||
|
<!-- <!-test-->
|
||||||
|
31 - 0 16
|
||||||
|
<!-- <!--test-->
|
||||||
|
32 - 0 17
|
||||||
|
<!-- <<!--test-->
|
||||||
|
33 - 4 8
|
||||||
|
<test-->
|
||||||
|
34 - 4 9
|
||||||
|
<!test-->
|
||||||
|
35 - 4 10
|
||||||
|
<!-test-->
|
||||||
|
36 - 4 11
|
||||||
|
<!--test-->
|
||||||
|
37 - 4 15
|
||||||
|
<!-- < test -->
|
||||||
|
38 - 4 16
|
||||||
|
<!-- </ test -->
|
||||||
|
39 - 4 15
|
||||||
|
<!-- <test> -->
|
||||||
|
40 - 4 16
|
||||||
|
<!-- </test> -->
|
||||||
|
41 - 4 25
|
||||||
|
<!--<script>-</script>-->
|
||||||
|
42 - 4 26
|
||||||
|
<!--<script>--</script>-->
|
||||||
|
43 - 4 27
|
||||||
|
<!--<script>---</script>-->
|
||||||
|
44 - 4 27
|
||||||
|
<!--<script> - </script>-->
|
||||||
|
45 - 4 28
|
||||||
|
<!--<script> -- </script>-->
|
||||||
|
46 - 0 1
|
||||||
|
&
|
||||||
|
47 - 0 2
|
||||||
|
&&
|
||||||
|
48 - 0 2
|
||||||
|
&
|
||||||
|
49 - 0 2
|
||||||
|
&f
|
||||||
|
50 - 0 2
|
||||||
|
&#
|
||||||
|
51 - 0 3
|
||||||
|
&#x
|
||||||
|
52 - 0 11
|
||||||
|
I'm ¬it
|
||||||
|
53 - 0 11
|
||||||
|
I'm ∉
|
||||||
|
54 - 0 10
|
||||||
|
I'm ¬it
|
||||||
|
55 - 0 10
|
||||||
|
I'm ¬in
|
||||||
|
56 - 0 7
|
||||||
|
I'm &no
|
||||||
|
57 - 0 4
|
||||||
|
&¬;
|
||||||
|
58 - 0 7
|
||||||
|
$
|
||||||
|
59 - 0 6
|
||||||
|
?
|
||||||
|
60 - 0 18
|
||||||
|
<h a='?'></h>
|
||||||
|
61 - 0 13
|
||||||
|
<h a='¬x'>
|
||||||
|
62 - 0 13
|
||||||
|
<h a='¬1'>
|
||||||
|
63 - 0 13
|
||||||
|
<h a='¬i'>
|
||||||
|
64 - 0 13
|
||||||
|
<h a='©'>
|
||||||
|
65 - 0 9
|
||||||
|
<s o=& t>
|
||||||
|
66 - 0 11
|
||||||
|
<a a=a&>foo
|
||||||
|
67 - 0 17
|
||||||
|
<plaintext>foobar
|
||||||
|
68 - 0 8
|
||||||
|
<a a=f<>
|
||||||
BIN
test/html-tokenizer/test2.test
Normal file
BIN
test/html-tokenizer/test2.test
Normal file
Binary file not shown.
BIN
test/html-tokenizer/test3.test
Normal file
BIN
test/html-tokenizer/test3.test
Normal file
Binary file not shown.
BIN
test/html-tokenizer/test4.test
Normal file
BIN
test/html-tokenizer/test4.test
Normal file
Binary file not shown.
647
test/html-tokenizer/unicodeChars.test
Normal file
647
test/html-tokenizer/unicodeChars.test
Normal file
@ -0,0 +1,647 @@
|
|||||||
|
0 - 0 1
|
||||||
|
|
||||||
|
1 - 0 1
|
||||||
|
|
||||||
|
2 - 0 1
|
||||||
|
|
||||||
|
3 - 0 1
|
||||||
|
|
||||||
|
4 - 0 1
|
||||||
|
|
||||||
|
5 - 0 1
|
||||||
|
|
||||||
|
6 - 0 1
|
||||||
|
|
||||||
|
7 - 0 1
|
||||||
|
|
||||||
|
8 - 0 1
|
||||||
|
|
||||||
|
9 - 0 1
|
||||||
|
|
||||||
|
10 - 0 1
|
||||||
|
|
||||||
|
11 - 0 1
|
||||||
|
|
||||||
|
12 - 0 1
|
||||||
|
|
||||||
|
13 - 0 1
|
||||||
|
|
||||||
|
14 - 0 1
|
||||||
|
|
||||||
|
15 - 0 1
|
||||||
|
|
||||||
|
16 - 0 1
|
||||||
|
|
||||||
|
17 - 0 1
|
||||||
|
|
||||||
|
18 - 0 1
|
||||||
|
|
||||||
|
19 - 0 1
|
||||||
|
|
||||||
|
20 - 0 1
|
||||||
|
|
||||||
|
21 - 0 1
|
||||||
|
|
||||||
|
22 - 0 1
|
||||||
|
|
||||||
|
23 - 0 1
|
||||||
|
|
||||||
|
24 - 0 1
|
||||||
|
|
||||||
|
25 - 0 1
|
||||||
|
|
||||||
|
26 - 0 1
|
||||||
|
|
||||||
|
27 - 0 1
|
||||||
|
|
||||||
|
28 - 0 3
|
||||||
|
|
||||||
|
29 - 0 3
|
||||||
|
|
||||||
|
30 - 0 3
|
||||||
|
|
||||||
|
31 - 0 3
|
||||||
|
|
||||||
|
32 - 0 3
|
||||||
|
|
||||||
|
33 - 0 3
|
||||||
|
|
||||||
|
34 - 0 3
|
||||||
|
|
||||||
|
35 - 0 3
|
||||||
|
|
||||||
|
36 - 0 3
|
||||||
|
|
||||||
|
37 - 0 3
|
||||||
|
|
||||||
|
38 - 0 3
|
||||||
|
|
||||||
|
39 - 0 3
|
||||||
|
|
||||||
|
40 - 0 3
|
||||||
|
|
||||||
|
41 - 0 3
|
||||||
|
|
||||||
|
42 - 0 3
|
||||||
|
|
||||||
|
43 - 0 3
|
||||||
|
|
||||||
|
44 - 0 3
|
||||||
|
|
||||||
|
45 - 0 3
|
||||||
|
|
||||||
|
46 - 0 3
|
||||||
|
|
||||||
|
47 - 0 3
|
||||||
|
|
||||||
|
48 - 0 3
|
||||||
|
|
||||||
|
49 - 0 3
|
||||||
|
|
||||||
|
50 - 0 3
|
||||||
|
|
||||||
|
51 - 0 3
|
||||||
|
|
||||||
|
52 - 0 3
|
||||||
|
|
||||||
|
53 - 0 3
|
||||||
|
|
||||||
|
54 - 0 3
|
||||||
|
|
||||||
|
55 - 0 3
|
||||||
|
|
||||||
|
56 - 0 3
|
||||||
|
|
||||||
|
57 - 0 3
|
||||||
|
|
||||||
|
58 - 0 3
|
||||||
|
|
||||||
|
59 - 0 3
|
||||||
|
|
||||||
|
60 - 0 3
|
||||||
|
|
||||||
|
61 - 0 3
|
||||||
|
|
||||||
|
62 - 0 4
|
||||||
|
|
||||||
|
63 - 0 4
|
||||||
|
|
||||||
|
64 - 0 4
|
||||||
|
|
||||||
|
65 - 0 4
|
||||||
|
|
||||||
|
66 - 0 4
|
||||||
|
|
||||||
|
67 - 0 4
|
||||||
|
|
||||||
|
68 - 0 4
|
||||||
|
|
||||||
|
69 - 0 4
|
||||||
|
|
||||||
|
70 - 0 4
|
||||||
|
|
||||||
|
71 - 0 4
|
||||||
|
|
||||||
|
72 - 0 4
|
||||||
|
|
||||||
|
73 - 0 4
|
||||||
|
|
||||||
|
74 - 0 4
|
||||||
|
|
||||||
|
75 - 0 4
|
||||||
|
|
||||||
|
76 - 0 4
|
||||||
|
|
||||||
|
77 - 0 4
|
||||||
|
|
||||||
|
78 - 0 4
|
||||||
|
|
||||||
|
79 - 0 4
|
||||||
|
|
||||||
|
80 - 0 4
|
||||||
|
|
||||||
|
81 - 0 4
|
||||||
|
|
||||||
|
82 - 0 4
|
||||||
|
|
||||||
|
83 - 0 4
|
||||||
|
|
||||||
|
84 - 0 4
|
||||||
|
|
||||||
|
85 - 0 4
|
||||||
|
|
||||||
|
86 - 0 4
|
||||||
|
|
||||||
|
87 - 0 4
|
||||||
|
|
||||||
|
88 - 0 4
|
||||||
|
|
||||||
|
89 - 0 4
|
||||||
|
|
||||||
|
90 - 0 4
|
||||||
|
|
||||||
|
91 - 0 4
|
||||||
|
|
||||||
|
92 - 0 4
|
||||||
|
|
||||||
|
93 - 0 4
|
||||||
|
|
||||||
|
94 - 0 1
|
||||||
|
|
||||||
|
95 - 0 1
|
||||||
|
|
||||||
|
|
||||||
|
96 - 0 1
|
||||||
|
|
||||||
|
97 - 0 1
|
||||||
|
!
|
||||||
|
98 - 0 1
|
||||||
|
"
|
||||||
|
99 - 0 1
|
||||||
|
#
|
||||||
|
100 - 0 1
|
||||||
|
$
|
||||||
|
101 - 0 1
|
||||||
|
%
|
||||||
|
102 - 0 1
|
||||||
|
&
|
||||||
|
103 - 0 1
|
||||||
|
'
|
||||||
|
104 - 0 1
|
||||||
|
(
|
||||||
|
105 - 0 1
|
||||||
|
)
|
||||||
|
106 - 0 1
|
||||||
|
*
|
||||||
|
107 - 0 1
|
||||||
|
+
|
||||||
|
108 - 0 1
|
||||||
|
,
|
||||||
|
109 - 0 1
|
||||||
|
-
|
||||||
|
110 - 0 1
|
||||||
|
.
|
||||||
|
111 - 0 1
|
||||||
|
/
|
||||||
|
112 - 0 1
|
||||||
|
0
|
||||||
|
113 - 0 1
|
||||||
|
1
|
||||||
|
114 - 0 1
|
||||||
|
2
|
||||||
|
115 - 0 1
|
||||||
|
3
|
||||||
|
116 - 0 1
|
||||||
|
4
|
||||||
|
117 - 0 1
|
||||||
|
5
|
||||||
|
118 - 0 1
|
||||||
|
6
|
||||||
|
119 - 0 1
|
||||||
|
7
|
||||||
|
120 - 0 1
|
||||||
|
8
|
||||||
|
121 - 0 1
|
||||||
|
9
|
||||||
|
122 - 0 1
|
||||||
|
:
|
||||||
|
123 - 0 1
|
||||||
|
;
|
||||||
|
124 - 0 1
|
||||||
|
=
|
||||||
|
125 - 0 1
|
||||||
|
>
|
||||||
|
126 - 0 1
|
||||||
|
?
|
||||||
|
127 - 0 1
|
||||||
|
@
|
||||||
|
128 - 0 1
|
||||||
|
A
|
||||||
|
129 - 0 1
|
||||||
|
B
|
||||||
|
130 - 0 1
|
||||||
|
C
|
||||||
|
131 - 0 1
|
||||||
|
D
|
||||||
|
132 - 0 1
|
||||||
|
E
|
||||||
|
133 - 0 1
|
||||||
|
F
|
||||||
|
134 - 0 1
|
||||||
|
G
|
||||||
|
135 - 0 1
|
||||||
|
H
|
||||||
|
136 - 0 1
|
||||||
|
I
|
||||||
|
137 - 0 1
|
||||||
|
J
|
||||||
|
138 - 0 1
|
||||||
|
K
|
||||||
|
139 - 0 1
|
||||||
|
L
|
||||||
|
140 - 0 1
|
||||||
|
M
|
||||||
|
141 - 0 1
|
||||||
|
N
|
||||||
|
142 - 0 1
|
||||||
|
O
|
||||||
|
143 - 0 1
|
||||||
|
P
|
||||||
|
144 - 0 1
|
||||||
|
Q
|
||||||
|
145 - 0 1
|
||||||
|
R
|
||||||
|
146 - 0 1
|
||||||
|
S
|
||||||
|
147 - 0 1
|
||||||
|
T
|
||||||
|
148 - 0 1
|
||||||
|
U
|
||||||
|
149 - 0 1
|
||||||
|
V
|
||||||
|
150 - 0 1
|
||||||
|
W
|
||||||
|
151 - 0 1
|
||||||
|
X
|
||||||
|
152 - 0 1
|
||||||
|
Y
|
||||||
|
153 - 0 1
|
||||||
|
Z
|
||||||
|
154 - 0 1
|
||||||
|
[
|
||||||
|
155 - 0 1
|
||||||
|
\
|
||||||
|
156 - 0 1
|
||||||
|
]
|
||||||
|
157 - 0 1
|
||||||
|
^
|
||||||
|
158 - 0 1
|
||||||
|
_
|
||||||
|
159 - 0 1
|
||||||
|
`
|
||||||
|
160 - 0 1
|
||||||
|
a
|
||||||
|
161 - 0 1
|
||||||
|
b
|
||||||
|
162 - 0 1
|
||||||
|
c
|
||||||
|
163 - 0 1
|
||||||
|
d
|
||||||
|
164 - 0 1
|
||||||
|
e
|
||||||
|
165 - 0 1
|
||||||
|
f
|
||||||
|
166 - 0 1
|
||||||
|
g
|
||||||
|
167 - 0 1
|
||||||
|
h
|
||||||
|
168 - 0 1
|
||||||
|
i
|
||||||
|
169 - 0 1
|
||||||
|
j
|
||||||
|
170 - 0 1
|
||||||
|
k
|
||||||
|
171 - 0 1
|
||||||
|
l
|
||||||
|
172 - 0 1
|
||||||
|
m
|
||||||
|
173 - 0 1
|
||||||
|
n
|
||||||
|
174 - 0 1
|
||||||
|
o
|
||||||
|
175 - 0 1
|
||||||
|
p
|
||||||
|
176 - 0 1
|
||||||
|
q
|
||||||
|
177 - 0 1
|
||||||
|
r
|
||||||
|
178 - 0 1
|
||||||
|
s
|
||||||
|
179 - 0 1
|
||||||
|
t
|
||||||
|
180 - 0 1
|
||||||
|
u
|
||||||
|
181 - 0 1
|
||||||
|
v
|
||||||
|
182 - 0 1
|
||||||
|
w
|
||||||
|
183 - 0 1
|
||||||
|
x
|
||||||
|
184 - 0 1
|
||||||
|
y
|
||||||
|
185 - 0 1
|
||||||
|
z
|
||||||
|
186 - 0 1
|
||||||
|
{
|
||||||
|
187 - 0 1
|
||||||
|
|
|
||||||
|
188 - 0 1
|
||||||
|
}
|
||||||
|
189 - 0 1
|
||||||
|
~
|
||||||
|
190 - 0 2
|
||||||
|
|
||||||
|
191 - 0 2
|
||||||
|
¡
|
||||||
|
192 - 0 2
|
||||||
|
¢
|
||||||
|
193 - 0 2
|
||||||
|
£
|
||||||
|
194 - 0 2
|
||||||
|
¤
|
||||||
|
195 - 0 2
|
||||||
|
¥
|
||||||
|
196 - 0 2
|
||||||
|
¦
|
||||||
|
197 - 0 2
|
||||||
|
§
|
||||||
|
198 - 0 2
|
||||||
|
¨
|
||||||
|
199 - 0 2
|
||||||
|
©
|
||||||
|
200 - 0 2
|
||||||
|
ª
|
||||||
|
201 - 0 2
|
||||||
|
«
|
||||||
|
202 - 0 2
|
||||||
|
¬
|
||||||
|
203 - 0 2
|
||||||
|
|
||||||
|
204 - 0 2
|
||||||
|
®
|
||||||
|
205 - 0 2
|
||||||
|
¯
|
||||||
|
206 - 0 2
|
||||||
|
°
|
||||||
|
207 - 0 2
|
||||||
|
±
|
||||||
|
208 - 0 2
|
||||||
|
²
|
||||||
|
209 - 0 2
|
||||||
|
³
|
||||||
|
210 - 0 2
|
||||||
|
´
|
||||||
|
211 - 0 2
|
||||||
|
µ
|
||||||
|
212 - 0 2
|
||||||
|
¶
|
||||||
|
213 - 0 2
|
||||||
|
·
|
||||||
|
214 - 0 2
|
||||||
|
¸
|
||||||
|
215 - 0 2
|
||||||
|
¹
|
||||||
|
216 - 0 2
|
||||||
|
º
|
||||||
|
217 - 0 2
|
||||||
|
»
|
||||||
|
218 - 0 2
|
||||||
|
¼
|
||||||
|
219 - 0 2
|
||||||
|
½
|
||||||
|
220 - 0 2
|
||||||
|
¾
|
||||||
|
221 - 0 2
|
||||||
|
¿
|
||||||
|
222 - 0 2
|
||||||
|
À
|
||||||
|
223 - 0 2
|
||||||
|
Á
|
||||||
|
224 - 0 2
|
||||||
|
Â
|
||||||
|
225 - 0 2
|
||||||
|
Ã
|
||||||
|
226 - 0 2
|
||||||
|
Ä
|
||||||
|
227 - 0 2
|
||||||
|
Å
|
||||||
|
228 - 0 2
|
||||||
|
Æ
|
||||||
|
229 - 0 2
|
||||||
|
Ç
|
||||||
|
230 - 0 2
|
||||||
|
È
|
||||||
|
231 - 0 2
|
||||||
|
É
|
||||||
|
232 - 0 2
|
||||||
|
Ê
|
||||||
|
233 - 0 2
|
||||||
|
Ë
|
||||||
|
234 - 0 2
|
||||||
|
Ì
|
||||||
|
235 - 0 2
|
||||||
|
Í
|
||||||
|
236 - 0 2
|
||||||
|
Î
|
||||||
|
237 - 0 2
|
||||||
|
Ï
|
||||||
|
238 - 0 2
|
||||||
|
Ð
|
||||||
|
239 - 0 2
|
||||||
|
Ñ
|
||||||
|
240 - 0 2
|
||||||
|
Ò
|
||||||
|
241 - 0 2
|
||||||
|
Ó
|
||||||
|
242 - 0 2
|
||||||
|
Ô
|
||||||
|
243 - 0 2
|
||||||
|
Õ
|
||||||
|
244 - 0 2
|
||||||
|
Ö
|
||||||
|
245 - 0 2
|
||||||
|
×
|
||||||
|
246 - 0 2
|
||||||
|
Ø
|
||||||
|
247 - 0 2
|
||||||
|
Ù
|
||||||
|
248 - 0 2
|
||||||
|
Ú
|
||||||
|
249 - 0 2
|
||||||
|
Û
|
||||||
|
250 - 0 2
|
||||||
|
Ü
|
||||||
|
251 - 0 2
|
||||||
|
Ý
|
||||||
|
252 - 0 2
|
||||||
|
Þ
|
||||||
|
253 - 0 2
|
||||||
|
ß
|
||||||
|
254 - 0 2
|
||||||
|
à
|
||||||
|
255 - 0 2
|
||||||
|
á
|
||||||
|
256 - 0 2
|
||||||
|
â
|
||||||
|
257 - 0 2
|
||||||
|
ã
|
||||||
|
258 - 0 2
|
||||||
|
ä
|
||||||
|
259 - 0 2
|
||||||
|
å
|
||||||
|
260 - 0 2
|
||||||
|
æ
|
||||||
|
261 - 0 2
|
||||||
|
ç
|
||||||
|
262 - 0 2
|
||||||
|
è
|
||||||
|
263 - 0 2
|
||||||
|
é
|
||||||
|
264 - 0 2
|
||||||
|
ê
|
||||||
|
265 - 0 2
|
||||||
|
ë
|
||||||
|
266 - 0 2
|
||||||
|
ì
|
||||||
|
267 - 0 2
|
||||||
|
í
|
||||||
|
268 - 0 2
|
||||||
|
î
|
||||||
|
269 - 0 2
|
||||||
|
ï
|
||||||
|
270 - 0 2
|
||||||
|
ð
|
||||||
|
271 - 0 2
|
||||||
|
ñ
|
||||||
|
272 - 0 2
|
||||||
|
ò
|
||||||
|
273 - 0 2
|
||||||
|
ó
|
||||||
|
274 - 0 2
|
||||||
|
ô
|
||||||
|
275 - 0 2
|
||||||
|
õ
|
||||||
|
276 - 0 2
|
||||||
|
ö
|
||||||
|
277 - 0 2
|
||||||
|
÷
|
||||||
|
278 - 0 2
|
||||||
|
ø
|
||||||
|
279 - 0 2
|
||||||
|
ù
|
||||||
|
280 - 0 2
|
||||||
|
ú
|
||||||
|
281 - 0 2
|
||||||
|
û
|
||||||
|
282 - 0 2
|
||||||
|
ü
|
||||||
|
283 - 0 2
|
||||||
|
ý
|
||||||
|
284 - 0 2
|
||||||
|
þ
|
||||||
|
285 - 0 2
|
||||||
|
ÿ
|
||||||
|
286 - 0 3
|
||||||
|
|
||||||
|
287 - 0 3
|
||||||
|
|
||||||
|
288 - 0 3
|
||||||
|
﷏
|
||||||
|
289 - 0 3
|
||||||
|
ﷰ
|
||||||
|
290 - 0 3
|
||||||
|
<EFBFBD>
|
||||||
|
291 - 0 4
|
||||||
|
𐀀
|
||||||
|
292 - 0 4
|
||||||
|
|
||||||
|
293 - 0 4
|
||||||
|
𠀀
|
||||||
|
294 - 0 4
|
||||||
|
|
||||||
|
295 - 0 4
|
||||||
|
𰀀
|
||||||
|
296 - 0 4
|
||||||
|
|
||||||
|
297 - 0 4
|
||||||
|
|
||||||
|
298 - 0 4
|
||||||
|
|
||||||
|
299 - 0 4
|
||||||
|
|
||||||
|
300 - 0 4
|
||||||
|
|
||||||
|
301 - 0 4
|
||||||
|
|
||||||
|
302 - 0 4
|
||||||
|
|
||||||
|
303 - 0 4
|
||||||
|
|
||||||
|
304 - 0 4
|
||||||
|
|
||||||
|
305 - 0 4
|
||||||
|
|
||||||
|
306 - 0 4
|
||||||
|
|
||||||
|
307 - 0 4
|
||||||
|
|
||||||
|
308 - 0 4
|
||||||
|
|
||||||
|
309 - 0 4
|
||||||
|
|
||||||
|
310 - 0 4
|
||||||
|
|
||||||
|
311 - 0 4
|
||||||
|
|
||||||
|
312 - 0 4
|
||||||
|
|
||||||
|
313 - 0 4
|
||||||
|
|
||||||
|
314 - 0 4
|
||||||
|
|
||||||
|
315 - 0 4
|
||||||
|
|
||||||
|
316 - 0 4
|
||||||
|
|
||||||
|
317 - 0 4
|
||||||
|
|
||||||
|
318 - 0 4
|
||||||
|
|
||||||
|
319 - 0 4
|
||||||
|
|
||||||
|
320 - 0 4
|
||||||
|
|
||||||
|
321 - 0 4
|
||||||
|
|
||||||
|
322 - 0 4
|
||||||
|
|
||||||
BIN
test/html-tokenizer/unicodeCharsProblematic.test
Normal file
BIN
test/html-tokenizer/unicodeCharsProblematic.test
Normal file
Binary file not shown.
86
tools/genHtml5LibTests.py
Normal file
86
tools/genHtml5LibTests.py
Normal file
@ -0,0 +1,86 @@
|
|||||||
|
#!/usr/bin/env python3
|
||||||
|
|
||||||
|
import glob
|
||||||
|
import json
|
||||||
|
import re
|
||||||
|
|
||||||
|
state_map = {
|
||||||
|
'Data state': 0,
|
||||||
|
'RCDATA state': 1,
|
||||||
|
'RAWTEXT state': 2,
|
||||||
|
'PLAINTEXT state': 3,
|
||||||
|
'Script data state': 4,
|
||||||
|
'CDATA section state': 5,
|
||||||
|
}
|
||||||
|
|
||||||
|
for filename in sorted(glob.glob('../html5lib-tests/tokenizer/*.test')):
|
||||||
|
match = re.search('/([^/]*).test$', filename)
|
||||||
|
if match is None:
|
||||||
|
continue
|
||||||
|
testname = match[1]
|
||||||
|
if testname == 'xmlViolation':
|
||||||
|
continue
|
||||||
|
|
||||||
|
with open(filename) as json_data:
|
||||||
|
root = json.load(json_data)
|
||||||
|
|
||||||
|
test_out = open(f'test/html-tokenizer/{testname}.test', 'w')
|
||||||
|
result_out = open(f'result/html-tokenizer/{testname}.test', 'w')
|
||||||
|
|
||||||
|
counter = 0
|
||||||
|
|
||||||
|
for tests in root.values():
|
||||||
|
for test in tests:
|
||||||
|
input = test['input']
|
||||||
|
|
||||||
|
# Skip surrogate tests
|
||||||
|
if re.search(r'\\uD[89A-F]', input, re.I):
|
||||||
|
continue
|
||||||
|
|
||||||
|
input = re.sub(r'\\u([A-Fa-f0-9]{4})',
|
||||||
|
lambda m: chr(int(m[1], 16)),
|
||||||
|
input)
|
||||||
|
|
||||||
|
output = ''
|
||||||
|
for token in test['output']:
|
||||||
|
output += token[0] + '\n'
|
||||||
|
|
||||||
|
if token[0] == 'DOCTYPE':
|
||||||
|
for i in range(1, 4):
|
||||||
|
if token[i] is None:
|
||||||
|
output += '<none>\n'
|
||||||
|
else:
|
||||||
|
output += token[i] + '\n'
|
||||||
|
else:
|
||||||
|
output += token[1]
|
||||||
|
if token[0] == 'StartTag':
|
||||||
|
for name, value in token[2].items():
|
||||||
|
output += f' {name}={value}'
|
||||||
|
output += '\n'
|
||||||
|
|
||||||
|
output = re.sub(r'\\u([A-Fa-f0-9]{4})',
|
||||||
|
lambda m: chr(int(m[1], 16)),
|
||||||
|
output)
|
||||||
|
output = re.sub(r'\x00', '\uFFFD', output)
|
||||||
|
|
||||||
|
for state in test.get('initialStates', ['Data state']):
|
||||||
|
state_no = state_map.get(state)
|
||||||
|
if state_no is None:
|
||||||
|
raise Exception(f'{filename}: unknown state: {state}')
|
||||||
|
if state_no == 5:
|
||||||
|
continue
|
||||||
|
|
||||||
|
start_tag = test.get('lastStartTag', '-')
|
||||||
|
|
||||||
|
test_out.write(f'{counter} {start_tag} {state_no} '
|
||||||
|
f'{len(input.encode())}\n')
|
||||||
|
test_out.write(input)
|
||||||
|
test_out.write('\n')
|
||||||
|
|
||||||
|
result_out.write(f'{counter}\n')
|
||||||
|
result_out.write(output)
|
||||||
|
|
||||||
|
counter += 1
|
||||||
|
|
||||||
|
test_out.close()
|
||||||
|
result_out.close()
|
||||||
Loading…
Reference in New Issue
Block a user