【浮世汇851】如何打造一个拖垮公司的大模型？

huoying @ 2024年02月24日浮世汇

【1】如何打造一个拖垮公司的大模型？

【2023-9-20】如何打造一个拖垮公司的大模型？

今年大模型实在太火，如何打造一个拖垮公司的大模型？不多不少，一共分10步。

第一步：先砸十个亿买卡
- 做大模型，要有大格局，舍不得孩子套不着狼。
- 什么X100、Y100……专挑算力强的买。
- 正规渠道没货了？不能怂！加价也要整起来。
第二步：从顶流公司挖大牛来坐镇首席科学家
- 必须是业界扛把子级别的大牛，就职于顶流AI公司比如"CloseAI"，经常在各种会议上高光出镜的那种。
- 能把整个团队都带过来最好，成建制、好管理、出活儿快。
第三步：定战略，当卷王
- 模型参数至少要万亿级别，当不成卷王，就只能被卷死。
- 再来个"智算中心"，算力至少达要1000PFLOPS，自己训练完大模型，还能把算力开放出来给同行。
第四步：万事开头难，从数据准备开始全员鸡血加班
- 数据不够怎么整？公开一部分，自有一部分，交易一部分。
- 拿到数据后，得清洗处理，全体动员做标注，老板亲自下场，主打一个陪伴。
第五步：开始玩命训练，不出意外的话快出意外了
- 服务器挂了、存储速度跟不上了、跨卡性能不行、梯度消失、梯度爆炸……
- 什么？！Checkpoints没保存？反复回退，反复调参，反复排雷。
第六步：内部开始自我修正
- 问题一多，团队就乱了，人都变得很浮躁。
- 公司原有的主营业务停滞不前，业绩下滑。
第七步：不管产品行不行，市场宣传要先行一步
- "我们来了！"广告要全渠道、全媒体覆盖。
- 必须要业界感知到我们来势汹汹的霸气。
第八步：生态伙伴少不了，气氛必须搞起来
- 先结盟5000家合作伙伴，达成意向合作。
- 第二天，大家联合发发新闻稿，必须让吃瓜群众充满期待。
第九步：大模型终于"练"出来了
- 练是练出来了，看上去有点不对劲，莫不是个"大傻子"吧？
- 落地实施，那叫一个难，不知道给谁用，不知道往哪儿用。
第十步：及时止损，人间清醒
- 然后开始复盘，多么痛的领悟~
大牛来了又走了，算力卡买了又卖了，智算中心建了又拆了，大模型炼了又废了。

【2】sora内幕

关于为什么要禁止师生之间的性接触，说一些常识。

1. 学生不能与老师发生性关系，核心原因是不能「同意（consent）」

同意指的是双方都允许发生性关系，必须在不被胁迫的情况下给出回答，并且一方想终止的话性关系就需要终止。

哪些人不能给予同意？未成年人、因为药物/酒精失去行动能力、睡眠中失去知觉以及有严重精神病的人群，通常被认为是不能给予同意的。这应该不难理解。

同时，不平等的权利地位情况下，例如公司的上司和普通员工，学校的老师及其学生（无论是小学还是大学），通常也认为无法自由的给予同意，因为可能利用身份特权进行胁迫。

2. 所以以上情况即便不违法，也可能严重违背相关准则。

-在性同意年龄以下发生性行为，无论该未成年人是否「同意」都属于强奸，因为在法律上不存在儿童「同意」性行为的情况。不同国家的区别在于对于强奸的定义，一些国家男性女性都可作为强奸的客体，一些国家仅限女性。

（中国的性同意年龄是14周岁，但对于有教育、教养、监护、治疗等特殊关系的人群（例如师生）提高到16岁）

-在性同意年龄以上发生性行为，如果属于被认为不能自由给予同意的人群，在一些国家也可能违法或者严重违规。CBS News在2018年文章叫做「Notorious teacher sex scandals」，翻译过来叫做「声名狼藉的性丑闻」，记录了几十例和学生发生性行为的教师案例（男女都有），这些教师全都面临了刑事指控，有很多最终被判入狱。

3. 另外，师生之间所不允许的除了直接的性行为，还包括不违法的性接触，因为这同样被认为是利用特权进行的侵犯，并且可能对学生造成不同程度的后果，轻者影响学习成绩、导致逃学，重者可能自杀。

相关的报道比比皆是，美国的研究数据表明，大约10%的中学生遭遇过老师的不当性接触，只不过大多数受害学生并没有告诉家长和同学，这些学生可能分不清老师的「热情」是对是错，或者出于羞耻选择了闭口不谈。

最后，学校是教书育人的地方，仅此而已。你作为成年人，要搞清楚哪些是个人的性幻想，哪些是法律和道德准则，这很重要。

【4】青袂素

#读书少#弗里德曼free to choose

弗里德曼对社保制度也很多不满。我们常看到的吐槽是不是都源自弗里德曼？

社保不是保险。英文看起来更明显：social security 和insurance。保险是个人付款购买等额福利；社保却未必，比如公务员获得的保障就更多。

所以社保其实是一种税或者转移支付。比如年轻人转移支付给老人。其实自古以来就是年轻人给老年人养老，有了社保制度，就从家庭自愿变成了强制。

同时也是穷人转移支付给有钱人，还以帮助穷人的名义。因为穷人上不起学更早参加工作，缴纳社保税时间更长。

社保趋向于破产，1950年代美国大约是17个缴纳社保的对应1个领社保的；到1970年就变成了3:1。

总之社保体现了Director's Law，经济学家Aaron Director提出的….定律: 公共开支是为中产量身打造的福利，主要由富人和穷人支付。（我竟一直以为相反 [哼] ）

public expenditures are made for the primary benefit of the middle class, and financed with taxes which are borne in considerable part by the poor and rich.