Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

请问下训练语料一般多大才不会生成乱码? #167

Open
drizzt00s opened this issue Sep 3, 2020 · 6 comments
Open

请问下训练语料一般多大才不会生成乱码? #167

drizzt00s opened this issue Sep 3, 2020 · 6 comments

Comments

@drizzt00s
Copy link

请问下训练语料一般多大才不会生成乱码?

@feb-cloud
Copy link

我也想问这个问题,请问楼主解决了吗?

@N0nent1ty
Copy link

我的話是96M,生成效果看的出來是中文,供你參考。

@N0nent1ty
Copy link

深度學習等,而当时是指在一些地方,如在日本国有的地方,例如日本国有的国有,而在东北国家,有的国有的是,东北部、东北部,以及东北部,以及东北部的东北部及西北部,也有东北部与东北部。
东北部的西北部的国有,但与东北部的西南地方有不同的区别。而东北部的东北部,东北部与东南部的西南部与东北部的西北部、东南部的地区有不少区。东北部与东北部与西北部相连,与中北部与南部,南南部与东部有著相连的地带。在日本,这些地区的地理位置较差,以至于中北部是较为便利的地方,但地理位置较为接近,因此这些地方与东北部的地理相对较差,因此东北部的地理位置较较为接近,而东北部的地理位置较较为接近。
日本的地理位置最为常见,在日本,东北部的东南部与东北部与东北部相连,因而有较长。东北部与东北部的东北部有著相连的海岸与西北部,而东北部的东北部和西北部的东北部有一定的差异。在东北部和北北部的东北部,西北部与东北部相连,南部是一片狭长的丘陵地带,东南部的中部、西南部和东北部的东南部是一部分的东北部。东北部与东北部有著相连的海岸与东北部的海岸相连,因此东北部有较大的地理位置。而东北部与东北部则是与中北部有较为相连的地方。
东北部的东北部与东北部地区相连,东北部是与东北部的南方。东北部的西北部与西北部与东方的东北部与中南部相连,东北部与东北部地区相连。东北部则与东北部地区相连,南部与东北部的东南部相连,南北部地区与东南部的海岸地区与东北部的东南部相连。东北部与西北部有著相似的地形,而南北的南部与东北部相连,南部与东北部分别与西北部与东北部地区相连。
在南北部与北部,东北部与东南部相连的地理位置较为接近。在南方的东北部与东北部的区域,与海岸地层相连的海岸地带,海岸地层相连。东北部与北部地区与北东部相连的地区相连的地区相连,在东南部则是海岸地带的地方与海岸地带,海岸地层则与东北部地区相连,海岸地层相连,与东北部的区域,相连,与海岸地层相互连。而东北部则与西北部的区域,相连在西南部和东北部的地方相连的区域,则相连的区域与西南部的区域与西北部地区相连。而东南部地区与东北部地方的差异较大。
与东北部地区相连的地域是东北部与东北部的海岸地区,与东北部地区相连。在北部与西北部的区域与东北部与南部地区相连的区域则与海岸地层相连,而东北部与南部地区则与南北部地区相连。这些区域包括海岸地带与海岸地带,与东北部地区的区域。与西北部地
100% 1000/1000 [00:12<00:00, 81.99it/s]
======================================== SAMPLE 2 ========================================
深度學習等等。
国家级非物质文化遗产
国家级非物质遗产是一部1999年发现的美国文化遗产,是1984年由英国作家爱德华·哈德曼(frank hayde)的遗物中描述的,其中包含了许多不同的文化、历史、地理、科学、地理、历史、历史、文化、艺术和文学等各种文化,包含各种文化、艺术、历史等方面。国家级非物质文化遗产中,有许多种类型,如:
新城县
新城县()是中国新疆维吾尔自治区阿克苏区下辖的一个县,位于新疆维吾尔自治区西北部,与新疆维吾尔自治区接壤。面积2297平方公里,2002年人口23万;邮政编码555000;县政府驻新城镇。
下辖12个镇、1个乡:
新城县辖:新城镇、新城镇、新城镇、新城市镇、城关镇、新村镇、新城镇、新城乡、新城乡和新城乡。
新城县人民政府驻新城镇,1983年7月改新城县,1994年8月改新城县并入新城县。2005年5月,新城县改新城县。
新城县辖:新城镇、新城乡、新城乡、新乡镇、新城乡、新城乡、新城乡、新城乡、新城市乡、新城乡、新城乡、新城乡、新城乡、新城乡、新城乡、新城乡和平乡。
阿尔伯特·奥古斯特·阿尔默斯
阿尔伯特·奥古斯特·哈德曼(,),出生于美国纽约市的,是美国职业足球员,目前效力于华盛顿特区的联赛球队洛杉矶湖人。
奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·阿尔默斯出生于美国纽约市布雷斯。奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特一世出生于纽约市布雷斯。
奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特出生于纽约市。奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·德尔布拉赫斯特是奥古斯特·奥古斯特的孙子。奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特·奥古斯特(奥古斯大公)奥古斯·奥古斯塔夫
100% 1000/1000 [00:12<00:00, 81.57it/s]
======================================== SAMPLE 3 ========================================
深度學習),在日本国会议展览厅举办国际会议,以及全国政协、中央政协及各国国会议,并会员代表大会代表。在会员代表大会中,会议由会员代表大会代表代表参加。
1933年5月15日,国共内战爆发,日军攻占台湾,中华民国在中国大陆设置中央政治局;中国人民解放军第五集团司令长官蒋桂战于台北。在1933年,中日人民解放军攻占台湾后,中央政治局扩大。
抗日战争结束后,国民政府迁往台湾,中国共产党在中国大陆设置了中央政治局。
1946年9月,国共两党在南京成立,国共两党合作。
1947年10月,蒋中正参加中国国民党,参加国共两党的会议。1948年1月,中共中央发表声明,提出国民政府要求国民政府要求中共同意蒋中正。
1949年5月,中共在南京成立了国民政府,同年10月,中共中央发出了关于国共军在台湾设置中国国民党政府,国民政府改为国民政府,同时中共中央与中央政治局合并。1949年4月,中国国民党政府改为国民政府。1949年8月,中国国民党再次举行国大代表大会。
1949年11月5日,中国国民党和中国政府正式开放国民大会,国共两党合作。11月15日,中共中央发出了关于国共两党合作的决议案。12月15日,中共中央决定在国民大会上签字,中央政治局会议。中共中央决定在台湾设置国民大会。
1949年6月,中国国民党与中国国民大在上海设置国民党国民政府,并成立中华民国国民大会。1949年10月1日,中国国民党中央决定以国民为国的代表。
1949年10月,中华民国国民政府成立,中央政治局改为民盟,国民党改为国民联合政府。1952年11月,中国国民党改为国民大会。1952年1月,中国国民党第一次全体会议成立,中共中央宣布独立。国民党第一次全国代表大会代表选举中国国民党第一、第二次全体代表大会代表大会代表大会代表共产国际代表大会代表大会代表代表大会代表大会。
1958年6月1日,中共中央决定成立国民大会,国民大会代表中央决定将台湾的国民大会代表中央委员职权转为国民大会代表大会代表。1960年1月20日,国民党中央选举委员会第七次全会决定由中国民主促进会代表大会代表选出。国大代表中共中央决定将台湾的中央委员职权转给台湾的国际代表大会代表,并由中国国民党中央执行委员会代表出席国大代表大会代表选举。
1965年1月,中共中央决定由中国人民政治协会议第一届全体委员会第一次会议选举中,中央委员职由中央
100% 1000/1000 [00:12<00:00, 81.44it/s]
======================================== SAMPLE 4 ========================================
深度學習析」。
中国历史文化
中国历史文化是发展历史文化,发展出中国历史文化。中国历史文化在中国历史文化的发展和发展史地位相当重要。中国历史文化在各个地方发展中,形成了历史、社会和政治、经济发展的地位。中国历史文化在各个方面发生了许多变化。而在中国历史文化的发展,发展出的地位和地位相当发达。历史文化文化的发展史地位相当于中国历史文化的最东部、北部和南部、陕西、河南、甘肃、河南、四川、湖南、四川等省份。其历史地位和发展史地位相当于中国历史文化的前身,其历史地位相当于中国历史文化的前身。中国历史文化的地位和地位相当于中国的历史地位,其中以陕西、河北、河北、安徽、山西、河南、山西、山西、河南、河北、山西、河南、山西、河南、河南、陕西、山西、山西、湖南、四川等省份较多。其他地方,各地方言各不同,各地方言各不同,其方言和文化发展有着相似变化。
新疆维吾尔自治区
新疆维吾尔自治区(),是中国历史文化的一个自治区。

@telunyang
Copy link

请问下训练语料一般多大才不会生成乱码?

我去爬 金庸小說線上閱讀, 44MB 左右,可以正常正成中文。

@Lyccl
Copy link

Lyccl commented Jul 28, 2021

请问下训练语料一般多大才不会生成乱码?

我去爬 金庸小說線上閱讀, 44MB 左右,可以正常正成中文。

可否分享一下?

@telunyang
Copy link

请问下训练语料一般多大才不会生成乱码?

我去爬 金庸小說線上閱讀, 44MB 左右,可以正常正成中文。

可否分享一下?

我的金庸小說網路爬蟲程式
Notebook - Python Requests 版本
Notebook - Python Selenium 版本

我自製的金庸小說網路爬蟲程式 YouTube 教學影片
YouTube 教學影片 - Python Requests 版本
YouTube 教學影片 - Python Selenium 版本

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

5 participants