将自定可能率作为模型测算输出,模型期望输出”Yes”样本预测可能率周围0时

 

学学笔记TF009:对数概率回归,学习笔记tf009

logistic函数,也称sigmoid函数,可能率布满函数。给定特定输入,总结输出”success”的概率,对回题回答”Yes”的票房价值。接受单个输入。多维数据或磨练集样本特征,能够用线性回归模型表明式合併成单值。

损失函数能够选拔平方固有误差。磨炼集”Yes”代表百分百概率或输出值1的可能率。损失刻画特定样本模型分配小于1值可能率。”No”概率值0。损失是模型分配样本概率值并取平方。平方引用误差惩罚与损失同数量级景况。输出与期待相差太远,交叉熵(cross
entropy)输出越来越大值(惩罚)。模型期望输出”Yes”样本预测可能率临近0时,罚项值拉长到临近无穷大。练习完,模型相当小概做出如此的失实预测。TensorFlow提供单个优化步骤sigmoid输出总括交叉熵。

消息论,符号字符串各个字符出现可能率已知,用香农熵估量字符串每一种符号编码所需平均最小位数。符号编码,如若借使任何可能率非真正可能率,符号编码长度越来越大。交叉熵以次优编码方案计算同字符串编码平均最小位数。损失函数期望输出可能率遍布,实际值百分百和0,将自定可能率作为模型测算输出。sigmoid函数输出可能率值。当真正概率等于自定可能率,交叉熵值最小。交叉熵越周边熵,自定可能率是真实可能率越来越好逼近。模型输出与梦想输出越临近,交叉熵越小。

从csv文件读取数据,加载解析,创立批次读取张量多行数据,升高估摸总结作用。tf.decode_csv()
Op将字符串(文本行)转变来钦定暗许值张量列元组,为每列设置数据类型。读取文件,加载张量batch_澳门永利娱乐总站,size行。属性数据(categorical
data),估计模型需求把字符串特征转变为数值型特征。种种属性特征扩大为N维布尔型特征,各样恐怕取值对应一维。具备属性相应维度取值1。模型对每一种或然取值独立加权。单个变量表示只可能二种值属性。全体特征排列矩阵,矩阵转置,每行同样本,每列一表征。输入,调用read_csv,转变读取数据,tf.equal方法检查属性值与常量值是或不是等于,tf.to_float方法将布尔值调换来数值。tf.stack方法打包全数布尔值进单个张量。

教练,衡量准确率,准确预测样本总的数量占总体样书比例。样本输出超越0.5调换为正回复。tf.equal比较预测结果与实际值是或不是等于。tf.reduce_mean总结全数科学预测样本数,除以批次样书总的数量,获得不错预测百分比。

 

    import tensorflow as tf
    import os
    #参数变量初始化
    W = tf.Variable(tf.zeros([5, 1]), name="weights")#变量权值
    b = tf.Variable(0., name="bias")#线性函数常量,模型偏置
    def combine_inputs(X):#输入值合并
        print "function: combine_inputs"
        return tf.matmul(X, W) + b
    def inference(X):#计算返回推断模型输出(数据X)
        print "function: inference"
        return tf.sigmoid(combine_inputs(X))#调用概率分布函数
    def loss(X, Y):#计算损失(训练数据X及期望输出Y)
        print "function: loss"
        return tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits(logits=combine_inputs(X), labels=Y))#求平均值
    def read_csv(batch_size, file_name, record_defaults):#从csv文件读取数据,加载解析,创建批次读取张量多行数据
        filename_queue = tf.train.string_input_producer([os.path.join(os.getcwd(), file_name)])
        reader = tf.TextLineReader(skip_header_lines=1)
        key, value = reader.read(filename_queue)
        decoded = tf.decode_csv(value, record_defaults=record_defaults)#字符串(文本行)转换到指定默认值张量列元组,为每列设置数据类型
        return tf.train.shuffle_batch(decoded, batch_size=batch_size, capacity=batch_size * 50, min_after_dequeue=batch_size)#读取文件,加载张量batch_size行
    def inputs():#读取或生成训练数据X及期望输出Y
        print "function: inputs"
        #数据来源:https://www.kaggle.com/c/titanic/data
        #模型依据乘客年龄、性别、船票等级推断是否能够幸存
        passenger_id, survived, pclass, name, sex, age, sibsp, parch, ticket, fare, cabin, embarked = \
            read_csv(100, "train.csv", [[0.0], [0.0], [0], [""], [""], [0.0], [0.0], [0.0], [""], [0.0], [""], [""]])
        #转换属性数据
        is_first_class = tf.to_float(tf.equal(pclass, [1]))#一等票
        is_second_class = tf.to_float(tf.equal(pclass, [2]))#二等票
        is_third_class = tf.to_float(tf.equal(pclass, [3]))#三等票
        gender = tf.to_float(tf.equal(sex, ["female"]))#性别,男性为0,女性为1

        features = tf.transpose(tf.stack([is_first_class, is_second_class, is_third_class, gender, age]))#所有特征排列矩阵,矩阵转置,每行一样本,每列一特征
        survived = tf.reshape(survived, [100, 1])
        return features, survived
    def train(total_loss):#训练或调整模型参数(计算总损失)
        print "function: train"
        learning_rate = 0.01
        return tf.train.GradientDescentOptimizer(learning_rate).minimize(total_loss)
    def evaluate(sess, X, Y):#评估训练模型
        print "function: evaluate"
        predicted = tf.cast(inference(X) > 0.5, tf.float32)#样本输出大于0.5转换为正回答
        print sess.run(tf.reduce_mean(tf.cast(tf.equal(predicted, Y), tf.float32)))#统计所有正确预测样本数,除以批次样本总数,得到正确预测百分比
    #会话对象启动数据流图,搭建流程
    with tf.Session() as sess:
        print "Session: start"
        tf.global_variables_initializer().run()
        X, Y = inputs()
        total_loss = loss(X, Y)
        train_op = train(total_loss)
        coord = tf.train.Coordinator()
        threads = tf.train.start_queue_runners(sess=sess, coord=coord)
        training_steps = 1000#实际训练迭代次数
        for step in range(training_steps):#实际训练闭环
            sess.run([train_op])
            if step % 10 == 0:#查看训练过程损失递减
                print str(step)+ " loss: ", sess.run([total_loss])
        print str(training_steps) + " final loss: ", sess.run([total_loss])
        evaluate(sess, X, Y)#模型评估
        import time
        time.sleep(5)
        coord.request_stop()
        coord.join(threads)
        sess.close()

 

参考资料:
《面向机器智能的TensorFlow实施》

迎接加笔者微信交换:qingxingfengzi
自己的微教徒人号:qingxingfengzigz
自家内人张幸清的微教徒人号:qingqingfeifangz

http://www.bkjia.com/Pythonjc/1211696.htmlwww.bkjia.comtruehttp://www.bkjia.com/Pythonjc/1211696.htmlTechArticle学习笔记TF009:对数几率回归,学习笔记tf009
logistic函数,也称sigmoid函数,可能率布满函数。给定特定输入,计算输出”success”的票房价值,对回题回…

招待加作者微信调换:qingxingfengzi
本人的微信公众号:qingxingfengzigz
笔者内人张幸清的微信大伙儿号:qingqingfeifangz

    import tensorflow as tf
    import os
    #参数变量初始化
    W = tf.Variable(tf.zeros([5, 1]), name="weights")#变量权值
    b = tf.Variable(0., name="bias")#线性函数常量,模型偏置
    def combine_inputs(X):#输入值合并
        print "function: combine_inputs"
        return tf.matmul(X, W) + b
    def inference(X):#计算返回推断模型输出(数据X)
        print "function: inference"
        return tf.sigmoid(combine_inputs(X))#调用概率分布函数
    def loss(X, Y):#计算损失(训练数据X及期望输出Y)
        print "function: loss"
        return tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits(logits=combine_inputs(X), labels=Y))#求平均值
    def read_csv(batch_size, file_name, record_defaults):#从csv文件读取数据,加载解析,创建批次读取张量多行数据
        filename_queue = tf.train.string_input_producer([os.path.join(os.getcwd(), file_name)])
        reader = tf.TextLineReader(skip_header_lines=1)
        key, value = reader.read(filename_queue)
        decoded = tf.decode_csv(value, record_defaults=record_defaults)#字符串(文本行)转换到指定默认值张量列元组,为每列设置数据类型
        return tf.train.shuffle_batch(decoded, batch_size=batch_size, capacity=batch_size * 50, min_after_dequeue=batch_size)#读取文件,加载张量batch_size行
    def inputs():#读取或生成训练数据X及期望输出Y
        print "function: inputs"
        #数据来源:https://www.kaggle.com/c/titanic/data
        #模型依据乘客年龄、性别、船票等级推断是否能够幸存
        passenger_id, survived, pclass, name, sex, age, sibsp, parch, ticket, fare, cabin, embarked = \
            read_csv(100, "train.csv", [[0.0], [0.0], [0], [""], [""], [0.0], [0.0], [0.0], [""], [0.0], [""], [""]])
        #转换属性数据
        is_first_class = tf.to_float(tf.equal(pclass, [1]))#一等票
        is_second_class = tf.to_float(tf.equal(pclass, [2]))#二等票
        is_third_class = tf.to_float(tf.equal(pclass, [3]))#三等票
        gender = tf.to_float(tf.equal(sex, ["female"]))#性别,男性为0,女性为1

        features = tf.transpose(tf.stack([is_first_class, is_second_class, is_third_class, gender, age]))#所有特征排列矩阵,矩阵转置,每行一样本,每列一特征
        survived = tf.reshape(survived, [100, 1])
        return features, survived
    def train(total_loss):#训练或调整模型参数(计算总损失)
        print "function: train"
        learning_rate = 0.01
        return tf.train.GradientDescentOptimizer(learning_rate).minimize(total_loss)
    def evaluate(sess, X, Y):#评估训练模型
        print "function: evaluate"
        predicted = tf.cast(inference(X) > 0.5, tf.float32)#样本输出大于0.5转换为正回答
        print sess.run(tf.reduce_mean(tf.cast(tf.equal(predicted, Y), tf.float32)))#统计所有正确预测样本数,除以批次样本总数,得到正确预测百分比
    #会话对象启动数据流图,搭建流程
    with tf.Session() as sess:
        print "Session: start"
        tf.global_variables_initializer().run()
        X, Y = inputs()
        total_loss = loss(X, Y)
        train_op = train(total_loss)
        coord = tf.train.Coordinator()
        threads = tf.train.start_queue_runners(sess=sess, coord=coord)
        training_steps = 1000#实际训练迭代次数
        for step in range(training_steps):#实际训练闭环
            sess.run([train_op])
            if step % 10 == 0:#查看训练过程损失递减
                print str(step)+ " loss: ", sess.run([total_loss])
        print str(training_steps) + " final loss: ", sess.run([total_loss])
        evaluate(sess, X, Y)#模型评估
        import time
        time.sleep(5)
        coord.request_stop()
        coord.join(threads)
        sess.close()

从csv文件读取数据,加载深入分析,创立批次读取张量多行数据,进步推断总结功效。tf.decode_csv()
Op将字符串(文本行)调换成钦点默许值张量列元组,为每列设置数据类型。读取文件,加载张量batch_size行。属性数据(categorical
data),推测模型须求把字符串特征转变为数值型特征。每一种属性特征扩展为N维布尔型特征,每一个只怕取值对应一维。具有属性相应维度取值1。模型对各类大概取值独立加权。单个变量表示只大概二种值属性。全体特征排列矩阵,矩阵转置,每行同样本,每列一风味。输入,调用read_csv,转变读取数据,tf.equal方法检查属性值与常量值是还是不是等于,tf.to_float方法将布尔值调换来数值。tf.stack方法打包全体布尔值进单个张量。

 

音信论,符号字符串每一个字符出现可能率已知,用香农熵推断字符串各样符号编码所需平均最小位数。符号编码,假诺假若任何可能率非真正可能率,符号编码长度越来越大。交叉熵以次优编码方案总括同字符串编码平均最小位数。损失函数期望输出可能率分布,实际值百分之百和0,将自定可能率作为模型测算输出。sigmoid函数输出可能率值。当真正可能率等于自定可能率,交叉熵值最小。交叉熵越附近熵,自定可能率是真实可能率越来越好逼近。模型输出与企盼输出越周边,交叉熵越小。

logistic函数,也称sigmoid函数,可能率分布函数。给定特定输入,计算输出”success”的票房价值,对回题回答”Yes”的概率。接受单个输入。多维数据或训练集样本特征,能够用线性回归模型表明式合併成单值。

参照他事他说加以考察资料:
《面向机器智能的TensorFlow奉行》

损失函数能够行使平方抽样误差。陶冶集”Yes”代表百分之百概率或输出值1的概率。损失刻画特定样本模型分配小于1值可能率。”No”概率值0。损失是模型分配样本概率值并取平方。平方基值误差惩罚与损失同数量级意况。输出与期望相差太远,交叉熵(cross
entropy)输出更加大值(惩罚)。模型期望输出”Yes”样本预测可能率接近0时,罚项值拉长到近似无穷大。陶冶完,模型不容许做出如此的一无所长预测。TensorFlow提供单个优化步骤sigmoid输出总括交叉熵。

教练,度量正确率,正确预测样本总量占整个样书比例。样本输出超过0.5改换为正回复。tf.equal相比预测结果与实际值是不是等于。tf.reduce_mean总计全部科学预测样本数,除以批次样本总的数量,获得不错预测百分比。

相关文章