MoyiTech 发布的文章 - MoyiTech的小站-IT博客-Maker BLOG-生活需要鼓励

2020-07-18

过拟合和欠拟合的形象解释机器学习中的’过拟合‘和‘欠拟合’是什么意思呢？“过拟合就是训练的时候效果很好，损失函数值可以降得很低，但是到测试数据集的时候表现就不那么好了，原因是过分依赖于现有训练数据集的特征造成的，解决方法是可以加大数据集来进行训练。比如在图像领域可以通过拉伸旋转变换剪裁等等方式来增加训练数据集然后通过Dropout随机清零参数来避免.......“。巴拉巴拉讲了一堆，虽然我很想解释明白，但是.......总感觉有苦说不出的憋屈，最后：这让我意识到我可能太过于沉浸于自己的世界了，没有考虑到别人的感受，我回来后寻思着不对，对于没有接触过机器学习这一块的人来说很多名词可能就听不太懂，我不能用太多的专业词，我要用最直白的语言解释，于是产生了这篇博客。--------------------以下进行正经的解释----------------------拟合（Fitting）：就是说这个曲线能不能很好的描述某些样本，并且有比较好的泛化能力。过拟合（Overfitting）：就是太过贴近于训练数据的特征了，在训练集上表现非常优秀，近乎完美的预测/区分了所有的数据，但是在新的测试集上却表现平平，不具泛化性，拿到新样本后没有办法去准确的判断。下面给一个代码中实际的运行结果感受一下：欠拟合（UnderFitting）：测试样本的特性没有学到，或者是模型过于简单无法拟合或区分样本。直观解释：解决过拟合的方法：增大数据量，正则化（L1,L2），丢弃法Dropout（把其中的一些神经元去掉只用部分神经元去构建神经网络）解决欠拟合的方法：优化模型，一般是模型过于简单无法描述样本的特性。-----------------------------------正经解释完毕，以下是非正经解释----------------------------------就好比你喜欢一个女生，这个女生有着自己的习性，为了追到这个女生我们经常会去迎合这个女生的习性。比如喝温水有固定的温度、挂电话只能她先挂、出去逛街不能哔哔太累、看书只能用书签不能折页........，这个就是我们学到的‘经验’。但是！万一也许可能这个女生某一天觉得你没有足够关心她每天都忙于自己的事情就和你分手啦.....然后，当你再找女朋友时，你拿出这些 ‘经验’ 但是好像发现效果并不好，因为每个女生的习性和喜好都不一样，所以你就陷入过拟合。怎么解决过拟合呢？那就是多交几个女朋友（增大训练数据量）啦！多了解一些不同女生的习性和喜好，当你已经把全世界所有女生的习性和喜好都学过之后，还有你追不到的女朋友吗？但是，现实很残酷的，哪有那么多女朋友来供你学习的，你还可以选择丢弃法（Dropout），就是选择性的学习女朋友的喜好和习性，这样就会有概率学不到只属于她“个人癖好”的部分，你学到的就会更加具有普适性。如何解释欠拟合...，那就简单了，就是你第一个女朋友都没追到，她的习性和喜好你还没能完全掌握。那么怎么解决欠拟合呢？那就只能提升你自己的人格魅力了（模型复杂度），这个我也没什么资格指点你，毕竟我也是凭实力单身多年。完美拟合，当你在追第一个女朋友的时候，你自身有一定的人格魅力（模型复杂度），并且并没有完全去迎合她的习性，毕竟存在 ‘个人癖好’ 这个‘错误’习性，你学到的是有泛化性的女生习性特征，当你用这些特征再去追女生的时候，成功率就很高了！————————————————原文链接：https://blog.csdn.net/xuaho0907/java/article/details/88649141

2020年07月18日
258 阅读
0 评论
1 点赞

2020-07-11

羊毛这夜，格外的寒冷。一群羊围在草场上，却没有一只低头吃草。此起彼伏的咩咩声宣告着他们的不满，愤怒与无奈。“你们听说了吗，”一只黑羊开口道，“草场主要收钱了，放牧20天要800元！”“什么？800？真的假的？”“他怎么不去抢！”“假的吧？小道消息？”“静一下！”黑羊开口，瞥了眼刚刚质疑的那只羊，“是真的，承包者已经把咱们的牧童委员会叫去开会了。”“有什么好开会的！草场主和承包者不是承诺免费了吗？而且这是国家政策！”刚刚质疑的那只羊激动的喊到。“承包者说是草场主的问题。”黑羊无奈。一直沉默的小绵羊开口道：“我刚刚问了隔壁的羊群，他们的承包者说草场主要300元…”这话一出，草场上一片沉默。黑羊看到小绵羊欲言又止的模样，摸了摸它的头以示鼓励：“孩子，说下去。”“而且...而且隔壁的承包者打算去找免费的草场，不收这冤枉钱”小绵羊怯怯的说到，声音越来越小...“这是个好主意！”“对啊我们也去免费的草场！”“对对对！”“......”这时，一只纯白的羊从帐篷的方向跑过来，上气不接下气的说道：“不...不好了...牧童委员会...决决决定交钱！”这句话如同晴天霹雳，不解与愤怒笼罩这整个羊群。“这不是赤裸裸的从我们身上薅羊毛吗？”“300？800？明明是同一个草场主！”“承包者不赚差价？我不信！”黑羊最为愤怒，先前质疑消息真伪的羊开始破口大骂。然而一个牧童走了过来，那是小绵羊的牧童。他待着它走了。等小绵羊回来时，羊群发现它的毛已经没有了。“他们威胁了我的牧童...”委屈的小绵羊如是说。这夜，沉默了下来......（故事与现实无关，如有雷同事件，纯属巧合）非原创，转自@凌诺薇

2020年07月11日
308 阅读
0 评论
2 点赞

2020-06-10

作文题目精选素履之往，且歌且行“素履之往，且歌且行”，即使穿着一般的鞋子（比喻质朴、条件不好）前往（比喻追寻理想），也要唱着歌一路前行（一种追寻理想的真挚的态度）。听从己心，无问西东“无问西东”出自清华大学校歌中的一句歌词“立德立言,无问西东”。而为大众所熟知，则是因为清华的校庆片《无问西东》，原台词是“只愿爱你所爱,行你所行,听从你心,无问西东 ”，强调的是人应当认清并坚守自己的内心，不必被外物干扰。在写作文时，前半句可以根据作文主题的需要进行替换，比如“坚守初心，无问西东”，“奋斗青春，无问西东”。可以说是非常百搭了~于无声处听惊雷语出自鲁迅，他真的说过这句话，手动doge。作者原意是，在革命尚未成功，前景未定的时候，大家应该像在无声处听到惊雷之声一样，仍旧对未来抱有希望与期待。附上一个运用的例子：标题：于无声处说惊雷、开头：陈词滥调的重复不过是拾人牙慧，歌功颂德的标榜更是千篇一律，“万马齐喑究可哀”则是时代最深恸的悲剧，我信奉范仲淹之言:“宁鸣而死，不默而生。” 于无声处说惊雷。敢于发声，发旁人不敢言之声;勇于直言，言不落俗套、真心诚意之言:当为我辈之一人生信条。借风唤花醒，聊赠一枝春这个标题，是一篇湖南高考满分作文的标题。岁月如水，惜时如金珍惜时间，是个常考的老话题，但是如何把老话题写的有新意，却是个很难的事情。有的崽子都高中生了，一提起读书就是“书籍是人类进步的阶梯”，一提起珍惜时间就是“一寸光阴一寸金”，老师改作文真的很无奈。何妨吟啸且徐行出自苏轼《定风波》：“莫听穿林打叶声，何妨吟啸且徐行。竹杖芒鞋轻胜马，谁怕？一蓑烟雨任平生。”意思是，不用注意那穿林打叶的雨声，何妨放开喉咙吟唱从容而行。表达的是一种从容、闲适的心态，类似于“慢生活”这种主题也很适合大勇成智，勇者知畏关于“勇气”与“畏惧”，也是作文常考的一个思辨话题。大多数情况下，我们知道，单纯的勇敢或者单纯的畏惧，都是片面的，因此，应该有所畏、无所畏兼得,才是理性地面对世界、人生的方法。考场上，想出这种论点倒是不难，但是写出让人眼前一亮的标题却很难，大多数人的水平就停留在 “怕与不怕”“勇敢与畏惧”这种层面。而“大勇成智，勇者知畏”是一个非常漂亮的标题，首先“大勇”二字就告诉了老师，我所说的勇敢和一般人理解的勇敢不太一样，“大勇成智”说明“勇敢”是成为智者的一个要素，“勇者知畏”则说明勇敢的人也应该心有畏惧，不要做莽夫。吾行吾道，虽远必至“虽远必诛”随着一些热血爱国片火了，侧面也说明这简短的四个字所表达出的力量和决心。“吾行吾道，虽远必至”，说的是对自己内心做赞同的观点、方法认真践行，表现了不畏困难只想实现理想的决心。

2020年06月10日
236 阅读
0 评论
2 点赞

2020-05-04

2020年05月04日
299 阅读
0 评论
1 点赞

2020-04-13

Python粉丝数实时播报程序源码：import requests import time import sys from playsound import _playsoundWin # 保证兼容python2以及python3 IS_PY3 = sys.version_info.major == 3 if IS_PY3: from urllib.request import urlopen from urllib.request import Request from urllib.error import URLError from urllib.parse import urlencode from urllib.parse import quote_plus else: import urllib2 from urllib import quote_plus from urllib2 import urlopen from urllib2 import Request from urllib2 import URLError from urllib import urlencode def hechng(res): # 替换你的 API_KEY（百度开放平台） API_KEY = '替换你的 API_KEY' # 替换你的 SECRET_KEY（百度开放平台） SECRET_KEY = '替换你的 API_KEY' # 大姚的订单信息内容文本 TEXT = res TTS_URL = 'http://tsn.baidu.com/text2audio' """ TOKEN start """ TOKEN_URL = 'http://openapi.baidu.com/oauth/2.0/token' """ 获取token """ def fetch_token(): params = {'grant_type': 'client_credentials', 'client_id': API_KEY, 'client_secret': SECRET_KEY} post_data = urlencode(params) if (IS_PY3): post_data = post_data.encode('utf-8') req = Request(TOKEN_URL, post_data) try: f = urlopen(req, timeout=5) result_str = f.read() except URLError as err: print('token http response http code : ' + str(err.code)) result_str = err.read() if (IS_PY3): result_str = result_str.decode() result = json.loads(result_str) if ('access_token' in result.keys() and 'scope' in result.keys()): if not 'audio_tts_post' in result['scope'].split(' '): print('please ensure has check the tts ability') exit() return result['access_token'] else: print('please overwrite the correct API_KEY and SECRET_KEY') exit() """ TOKEN end """ if __name__ == '__main__': token = fetch_token() tex = quote_plus(TEXT) # 此处TEXT需要两次urlencode params = {'tok': token, 'tex': tex, 'cuid': "quickstart", 'lan': 'zh', 'ctp': 1} # lan ctp 固定参数 data = urlencode(params) req = Request(TTS_URL, data.encode('utf-8')) has_error = False try: f = urlopen(req) result_str = f.read() headers = dict((name.lower(), value) for name, value in f.headers.items()) has_error = ('content-type' not in headers.keys() or headers['content-type'].find('audio/') < 0) except URLError as err: print('http response http code : ' + str(err.code)) result_str = err.read() has_error = True save_file = "error.txt" if has_error else u'tmp.mp3' with open(save_file, 'wb') as of: of.write(result_str) if has_error: if (IS_PY3): result_str = str(result_str, 'utf-8') print("tts api error:" + result_str) print("file saved as : " + save_file) _playsoundWin('tmp.mp3') # playsound('tmp.mp3') time.sleep(10) res = requests.get('https://api.bilibili.com/x/relation/stat?vmid=128723428&jsonp=jsonp') res = res.json() res = res['data']['follower'] print(res) while True: time.sleep(1) tmp = requests.get('https://api.bilibili.com/x/relation/stat?vmid=128723428&jsonp=jsonp') tmp = tmp.json() tmp = tmp['data']['follower'] print(tmp) # if os.path.exists('tmp.mp3'): # os.remove('tmp.mp3') if tmp > res: hechng('粉丝数增加了' + str(tmp - res) + ',目前粉丝数' + str(tmp)) res = tmp if tmp < res: hechng('粉丝数减少了' + str(res - tmp) + ',目前粉丝数' + str(tmp)) res = tmp

2020年04月13日
229 阅读
0 评论
0 点赞