职场永远都是看似风平浪静,春风和煦,领导频繁表扬你,同事都更加殷勤,可是,千万不要被这些人间仙境迷惑,可能不是什么仙境,而是雾霾来袭了。如果突然遇到这种情况,那么要警惕,是不是你的职场遇到了什么问题,比如有种东西叫做瓶颈。而领导准备怎样应对你的瓶颈,是另辟天地,还是另请高明。这个时期,心明眼亮点吧,不然你可能会被边缘了而不自知。
职场瓶颈,相信很多人都遭遇过,就跟女人的生理期一样,没人能始终高歌猛进,江郎不是也会才尽吗?这时候,真是考验管理者的时刻。好的管理者,会思考一下个人的瓶颈期,是个人原因,还是公司原因。如果是个人问题,如何能帮他打碎壁垒,再造辉煌,如果是公司原因阻碍了个人职业发展,那么,公司是不是有必要战略转型了。可是,别做梦了,快醒醒,给你讲个奇葩领导的故事。
奇葩这个物种,我觉得好像,总喜欢成对出现。真是无巧不成双,咳咳,好像哪里不对?
几年前,我在一家在北京很知名的培训机构做市场营销工作,这是我职业生涯的第一次转型。也是人生的一个低谷时期。不过我很快就适应了这份工作,而且应该说还是有些成就的。因为,一年后,就不断有其他培训机构的人来挖我,包括新东方这样的机构。可是,我很快遭遇了瓶颈期,怎么都没动力,业绩也是半死不活,市场总监来跟我谈,我当时很真诚地说,领导,我已经尽力了。然后我们的谈话就在愉快地氛围中结束了。
其实,我心里门儿清,为啥我没动力,因为钱没给到位啊。我来应聘的时候,谈好了卖身契,基本工资就是个虚数,主要跟业绩挂钩,定了指标,双方签字画押。结果,三个月后她发现我拿的提成远远超过了其他人,这时候她是不是应该偷着乐呢,花了很少的钱请了个能干活的主儿?我拿的工资越高,说明给公司带来的收益越高啊。并没有,这时候这位总监大人跟所谓董事会一商量,三个月试用期一结束,基本工资涨了一些,同时把指标额度提升了50%!我当时很不爽啊,可是我忍了。你知道这位总监大人给我的理由是啥嘛?因为你刚入行,我怕你有压力,所以试用期就降低了要求。妈蛋,明明当时谈的是年度目标好伐?这之后就是,一年内指标额度一共提了四次。三个月一次,跟大姨妈一样准呢。而我和我的团队依旧拿着越来越高的工资。在她第五次把我的业绩指标额度提高后,我有点怒了,瓶颈期开始了,我连续三个月都是只完成刚刚好够指标,之后总监大人就找我谈话了。
那次谈话之后,总监大人对我始终和颜悦色,我也始终笑脸相迎,大家在从未有过的和谐气氛中剑拔弩张。她开始频繁安排面试,而我,也开始和其他机构的人资接触。当然我的接触是悄悄进行的,而她的面试却是藏不住的。
没几天,公司来了一个高大帅气的男生,跟我岗位相同。然后在第一次市场部会议时候,就忍不住一顿夸赞,觉得这个男生提的很多思路特别有前瞻性,有创造性,有独特性,blablabla,说得我们几个经理尴尬症都快翻了,我心想这位总监大人是被灌了什么迷魂汤了,思路是很好啊,唯一的缺点是,没有可行性。而且我不知道为什么第一眼就觉得这男生虽然英俊,但是眉眼之间透着一种让人很不舒服的轻浮劲儿。
更让我尴尬的是,总监大人安排他先跟着我们组。还说,让我多配合他,我呸,论资历,我也是老人,来个新人摆明了要顶替我,来了就让我配合,你直接让我走人也算是给我留些面子好伐,不过我太清楚她的心思,以我的个性绝不会甘为人下认怂让位的,一定会主动辞职,这样他就省了一大笔赔偿金。女人心,果然歹毒的嘞。我手底下的小朋友们那也是脑子灵光,惯会见风使舵,再加上确实颜值不错,的确给女生泛滥的公司带来了一些别样风光。姑娘们站队站得特别快。
我那时,其实已经跟另一家机构谈好了,那边几乎一天一个电话追着我快点去报道,因为寒假招生旺季马上到了。可是我就很想看看新来的这位到底是何方神圣。我跟这小伙子单独开过一次小会,这一次会后,我确认了一点,就是,总监大人一定是找了个假的经理,另外还印证了我之前的感觉,这小伙子不只是轻浮,还是人品问题。他居然有意无意碰我的手,还打听我是否单身,并在第一个周末就给我打电话约我出去吃饭。约你妹啊,难道我那时候长了一张缺爱的脸吗?
然后我找人资的小姑娘要了这个人的简历,以人资的名义给这人此前就职的公司打了个电话,做了个背景调查。然后,发现这家伙果然满嘴谎话,两家公司工作时间都没超过一年,而且都是因为业绩太烂没辞退了。确认了这一点,我就放心地提交了辞职报告。
总监假意挽留,实则顺水推舟,还问我以后什么打算?我说要游山玩水休息一番。其实第二天就去新公司报到了。
一个月后,这位总监大人突然给我打电话,我心想,恩,一个月才发现新招的小伙子不行,还不算太迟钝。果然,东扯西扯扯到要请我去清华园里看话剧,拜托,我跟你共事一年多,你都没单独请我吃过一餐饭,现在倒好到要请我看话剧了?好呀,好久没见你了,也怪想念的,我满口答应。
话剧看完了,饭也吃完了,该说的话终究还是得说。
“那个谁谁?你还记得不?”当然记得啊,你踅摸来顶替我的人选。
”有印象,长得挺帅的。“我一脸笑意。
“那人已经被我辞退了。”
“啊?为什么啊?不是挺好的吗?”当初他粉墨登场时候您可也是卖力吹捧过得啊。
“那人不行,能力太差。”
“哦,那太可惜了,白瞎那张脸了。”
“M,你也休息这么长时间,回来上班吧?”
“哦。不好意思啊,这周一刚刚入职了呢。”
”是吗?哪家公司?“
当我说出公司名字时,看着前总监大人诧异得有点扭曲的脸,一种愉悦感忽然涌上心头。她一定很后悔,当初没跟我签过竞业限制协议,不过,以她的智商,可能压根就不知道这是个啥东西。
这位前总监大人至今居然还始终关注着我的微信,时不时给我点个赞鼓个掌,有天还曾经留言,如果在新公司做得不开心,随时欢迎你回来。拜你所赐,我已经学会了把所有的条件都谈清楚白纸黑字,这样的工作,即便辛苦,也不会不开心。
如果面试时被问到spark任务如何调优,我们该如何回答呢?
下面我们从四大方面回答这个问题,保证吊打面试官。
一、spark性能调优
1、分配更多的资源
比如增加执行器个数(num_executor)、增加执行器个数(executor_cores)、增加执行器内存(executor_memory)
2、调节并行度
sparkdefaultparallelism
3、重构RDD架构以及RDD持久化
尽量去复用RDD,差不多的RDD可以抽取成一个共同的RDD,公共RDD一定要实现持久化
4、广播变量
SparkContextbroadcast方法创建一个对象,通过value方法访问
5、使用kryo序列化
SparkConf中设置属性:sparkserializer: orgapachesparkserializerkryoSerializer
6、使用fastutil优化数据格式(代替java中的Array、List、Set、Map)
7、调节数据本地化等待时长
调节参数: sparklocalitywait
二、JVM调优
降低cache操作的内存占比 16版本之前使用的是静态内存管理
spark中堆内存被划分为两块:
一块是专门来给RDD作cachepersist持久化的 StorageMemory,另一块是给spark算子函数运行使用的,存放函数中自己创建的对象。
16版本之后采用统一内存管理机制
storage和execution各占50%,若己方不足对方空余可占用对方空间
可尝试调节executor堆外内存
sparkyarnexecutormemoryOverhead = 2048m
调节连接等待时长
sparkcoreconnectionackwaittimeout = 300
三、shuffle数据倾斜调优
1、预聚合源数据,对hive源表提前进行聚合操作,在hive聚合之后,spark任务再去读取
2、检查倾斜的key是否是脏数据,可以提前过滤
3、提高shuffle操作reduce的并行度
4、使用随机key实现双重聚合
5、将reduce端 join转换成map端 join
6、sample采样倾斜key,单独进行join后在union
7、使用随机数以及扩容表进行join
四、算子调优
1、使用mapPartition提升map类操作的性能
2、filter过后使用coalesce减少分区数量
3、使用foreachPartition优化写数据性能
4、使用repartition解决sparkSql低并行度的性能问题
5、reduceByKey替换groupByKey实现map读预聚合
给定一个数组arr长度为N,你可以把任意长度大于0且小于N的前缀作为左部分,剩下的作为右部分。
但是每种划分下都有左部分的最大值和右部分的最大值
请返回最大的, 左部分最大值减去右部分最大值的绝对值 。
算法流程
我们要求左边最大减去右边最大,max肯定是在左边数组和右边数组中的最后参与决策的最大数。
假设12在左边数组中,右边数组剩下[5,6,7]
因为把max放入了左边的数组,所以, 我们需要右边数组的最大值尽可能的小 ,数组个数越少,他的最大值就是尽可能的小,比如剩下[5,6,7]的情况,我们可以看到我们区arr[N-1]这个数作为右侧数组,是最满足 左部分最大值减去右部分最大值的绝对值 条件的。
同理 把max划分到右侧数组,左侧数组a[0]划分是最符合条件的。
欢迎分享,转载请注明来源:品搜搜测评网