产品使用常见问题
最近更新时间: 2019-11-26 15:30:11
Q:Notebook预置了哪几种镜像都包含哪些框架? A:目前Notebook预置了四个镜像。 通用:包含大部分python数据科学的数据科学库同时支持pyspark,也包含了tensorflow等深度学习的python库,包含的主要数据科学库如下:pandas, matplotlib, numpy, seaborn, scipy, statsmodels, dasksklearnxgboostlightgbmpyspark r tensorflow(cpu) caffeMXNetpytorch 单机机器学习:包含大部分python单机数据科学的库,包含的主要数据科学库如下:pandas, matplotlib, numpy, seaborn, scipy, statsmodels, dask, sklearn, xgboost, lightgbm, r 集群机器学习:包含集成了sparkmagic的pyspark kernel,可以使用pyspark集群进行分布式数据挖掘,同时也集成了主要的python数据科学库,包含的主要数据科学库如下:pyspark, pandas, matplotlib, numpy, seaborn, scipy, statsmodels, dask, sklearn, xgboost, lightgbm, r 深度学习(cpu):包含主流的python深度学习的库,包含的主要数据科学库如下:pandas, matplotlib, numpy, seaborn, scipy, statsmodels, dask, tensorflow, caffe, MXNet, pytorch (cpu) 同时平台也支持用户在创建镜像时,通过re**Quirement.txt以及setup.sh这些环境初始化脚本来定制自己的环境,用户定义的开发环境可以通过自定义镜像功能保存为用户自定义镜像,方便下次使用。
Q:为什么资源组显示还有资源而提交的任务却会因没有资源而失败? A:出现这种情况可能有以下几种可能: 资源组的剩余资源检测有15S的延迟,提交任务时底层已经没有资源了,或项目管理员缩减了资源组的资源。故任务可以提交但因为缺少资源而初始化失败。 另外,剩余资源也可能被批量预测和工作流占用。批量预测和工作流是任务式的资源占用,有相关任务的时候才会占用资源。 出现以上情况可以稍待工作流和批量预测任务完成后释放资源,也可以通过租户或项目管理员账号新增资源组或增加资源组配额。
Q:我发布的推理服务/发布到生产环境的资源为什么看不到? A:大数据云支持企业级的流程管理,对生产线上资源有影响的操作都需要项目管理员的审批。在生产环境下发布推理服务或将相关任务发布到生产环境都需要经过项目管理员审批,相关的审批进度可以在审批管理查看。
Q:在哪里可以看到我的程序日志? A:挖掘组件中提供两类日志,一类是K8S的POD日志,一类是Spark的日志。具体来说,用户可以在以下页面看到相关日志信息。 Notebook:用户可以在Notebook中查看具体的日志 工作流:用户可以在左上的运行历史中查看每次运行的日志。 推理服务:在推理服务详情页可以看到推理服务的日志。 此外,在任务中心中,可以按照SparkApplicaition查看每个Applicaiton的日志;批量预测可以查看批量预测每个任务的运行日志;重训练任务可以查看具体重训练任务的日志。
Q:当前项目下没有任何占用资源的项目,为什么资源组的资源可用资源为0? A:资源组与项目是多对多的关系,当前资源组的资源被其他项目占用,会导致资源组配额减少甚至为0,此时可以稍待资源组资源释放或者向相关权限账号申请新建新的资源组、增加原有资源组的配额。